用語抽出のためのTf-idfの直観

Question

私はTf-idfを使って単語の辞書を構築しようとしています。しかし、直感的には意味をなさない。

Tf-Idfの逆文書頻度（Idf）部分が、全コーパスに対する用語の関連性を計算する場合、重要な単語のいくつかは関連性が低い可能性があることを意味します。

法的文書のコーパスを見ると、すべての文書に「ライセンス」または「法的」という用語が表示されることがあります。 Idfのために、これらの用語のスコアは非常に低くなります。しかし、直感的に言えば、これらの用語は明らかに法的用語であるため、スコアが高くなるはずです。

tf-idfは用語辞書を作成するには悪いアプローチですか？

Answer 1

はいこれらの用語は法的用語です。しかし、TF/IDFは、それらが特定のドメインに関連しているかどうか評価しようとしません。それらはそのドメインからの文書を粉砕するのに役立ちます。 legalのような用語がすべての文書に出現すると、これらの文書を区別するのに分類子を助けてくれません。ただし、法的文書とランダムな文書のセットを混在させる場合。彼らは突然、非常に関連性が高くなることがわかります。法律上の文書やその他の文書を区別することができるからです。

実際には、より典型的には、「種類の」ストップワードを削除するために使用されます。例えば。 Theはすべての文書で発生し、意味はありません。

TF/IDFが辞書を作成するのに適しているかどうかは、この辞書で後で何をしたいかによって大きく異なります。