H2O Python：検証データセットのAUCが最も高い抽出グリッド検索モデル

Question

H2O Python APIを使用してグリッド検索を使用してランダムフォレストモデルを構築しています。私は列車とバリデーションのデータを分割し、k-foldクロスバリデーションを使用して、グリッド検索で最良のモデルを選択します。

トレーニングセットの中で最高のMSEのモデルを取得することができましたが、検証セットで最高のAUCのモデルを取得したいとします。

私はPythonですべてをコーディングできましたが、これを解決するためのH2Oアプローチがあるかどうかは疑問でした。どのように私はこれを行うことができるかに関する任意の提案？

Answer 1

gた場合は、その後、あなたのグリッドオブジェクトです：

g.sort_by('auc', False); 

はあなたのAUCが注文したモデルを提供します。 Falseの2番目のパラメータは、最も高いAUCが最初になることを意味します。これはH2OTwoDimTableオブジェクトを返します。そのため、最初のモデル（AUCで最も良いモデル）をそのように選択できます。

トレーニングセットではなく、検証セットのスコアに基づいてソートする必要があると思います。ただし、明示的に次のように指定することができます。

g.sort_by('auc(valid=True)', False);