カテゴリ属性を使用したAmazonマシンの学習 - 制限

Question

回帰モデルを使用して、120個の属性のセットから数値を予測しています。これらの属性のうち7つはカテゴリ別ですが、最大のカテゴリは約90,000の固有値を持ちます。私はおよそ100万行のデータを訓練しています。

しかし、データソースの要約のカテゴリ属性を見ると、最大5000の一意の値が表示されます。これは、AWS Machine Learningが私のモデルの精度に影響を与えている制限ですか、それともサマリー表示の制限にすぎませんか？

また、私は最も頻繁カテゴリブランクが最も一般的な値として示されている結果を強調しています。 （これは、引用符を含むCSV、および有効な値のために発生する可能性があります）AWS MLはカテゴリ要素の空白のエントリを無視しますか？または、共通の「空白」値が予測を歪ませないように、UUID /ランダムな文字列を使用して欠落したカテゴリ値を設定する必要があります。

一部のMLモデルでは、新しい（以前はトレーニングでは見えなかった）カテゴリ値が予測のために入力されたときにスペアニューロンを保持していることを理解します。これはAWS Machine Learningのケースですか？

私はMLの初心者ですので、私の質問がばかげている、または私の方法/仮定が間違っている場合は申し訳ありません。私は尋ねる前にAWSドキュメントをスキャンしました。

ありがとうございました。

Answer 1

これは通常、非常に多くのカテゴリ値を使用することを意味しませんし、上位の値のみが使用され、他の小さなカテゴリはあまり予測力がありません。

これらのカテゴリは、ターゲットとの相関が非常に高く、疑わしいものです。しかしモデルがそれらとうまくいっているなら、私はあまり心配しないでしょう。モデルを作成せずにモデルを構築して、違いがあるかどうかを確認することもできますが、機能を選択するのはあまり難しくありません。