SVMを使用してテキスト分類にカイ二乗値を使用するにはどうすればよいですか？

Question

私は、テキスト分類の問題について肯定と否定の両方の訓練文書を持っています。私は、各文書のすべてのフィーチャのカイ二乗値を計算する予定です。その価値を持っているので、私はSVMを使った分類にどのように進むことができますか？分類の閾値はいくらですか？

Answer 1

カイ二乗値を使用してフィーチャ選択を行うことができます。これは、前処理ステップです。その後、あなたのフィーチャーボキャブラリーを大幅に減らすことができます（例えば、1Mボキャブラリーから最も有用な100,000語を選択するなど）。このステップには、次の2つの利点があります。1.次のステップでモデルサイズを小さくする。 2.予測時間が速い。短所：分類パフォーマンスに影響する場合もあれば、そうでない場合もあります。

分類を進めるには、それらの100K機能を使用してモデルをトレーニングする必要があります（たとえば、SVMアルゴリズムを使用するなど）。モデルが学習されたら、そのモデルを分類に使用できます。