意味解析後のクラスタリング

Question

つぶやきセットをクラスタ化したい。私はすでにつぶやきを取り出し、それらをきれいにし、ナイーブベイズ分類器をそれらに適用し、それらを正と負の2つのファイルに分けました。最後に、私は、各つぶやきの間の類似性を検索するために次のことを行っている：さて、これは、私は追加するかもしれない次のステップを考えていた他の各文の相対的な類似性を測定することになっている

with open("positive.txt", "r") as pt: 
     lines = pt.readlines() 
     for lineA in lines: 
      vectorA = text_to_vector(lineA) 
      for lineB in lines: 
       vectorB = text_to_vector(lineB) 
       cosine = get_cosine(vectorA, vectorB) 
       print lineA, "\n", lineB, "\n", "Cosine:", cosine 

すべてのフレーズの値は、すべての文に文nの関係のすべてのコサイン値を加え、それをプロットしてプロットし、KMeansのようなものを適用すると、私は正しいアプローチをとっているここで、どんな助けも大歓迎です。

Answer 1

（コンテンツに基づいて）クラスタリングするドキュメントがある場合は、ツールClutoを使用するのが最も簡単な方法です。基本的には2つのステップで実行する必要があります。

最初のステップは、すべての文書を含む入力ファイル（各行に1つの文書）を受け取るプログラムdoc2matを実行することです。 doc2matプログラムは、各文書のtf-idfベクトル表現からなる行列ファイルを出力します。

このマトリックスファイルをプログラムvclusterに入力すると、クラスタリング結果が生成されます。 vclusterに参照クラスファイルを入力すると、クラスタリング結果を評価することもできます。