テキストファイルのクラスタリング

Question

元の質問： アプリケーションに関連付けられたテキストを表す各行があるフラットファイルがあります。そのアプリケーションに関連付けられた単語に基づいてアプリケーションをクラスタ化したいと思います。単一のフラットファイルをテキストマイニングするためのフリーコードがありますか？ありがとうございました。

更新1： 30,000件のアプリケーションがあります。私は、（顧客の）行動が各クラスターにどのように関連付けられているのかを把握しようとしています。私はあらかじめ定義された単語のセットを持っていません。私はランダムな少数を検査していくつかの単語を決定することができますが、それは私に言葉のexaustiveリストを与えることはありません。私は体系的な方法で大部分の行動をとらえたいと思っています。

私は、テキストファイルをxmlファイルに変換し、carrot2 workbenchを使用してクラスタを作成しようとしましたが、それはうまく動作しませんでした。私は前にcarrot2を使用していないので、何か間違ったことをしている可能性があります。

Answer 1

私の理解では、あなたのようなファイルがあるということです。

game Solitaire 
productivity OpenOffice 
game MineSweeper 
... 

をそして、あなたはそれらに関連するタグ/説明に基づいてバケット内のアプリケーションを置くのように、そのタグワードに基づいてすべてのものを分類したいです/ ...

は、私はあなたがこの目的のためにリストの辞書を使用することができると思う、例えば：

f = open('input.txt') 
out = {} 
inline = f.readline() 
while inline: 
    if ' ' not in inline: 
     continue 
    tag, appname = inline.strip('\n').split(' ', 1) 
    if tag not in out: 
     out[tag] = [] 
    out[tag].append(appname) 
    inline = f.readline() 

print out['game'] 

この一回の入力を反復処理し、クラスタアプリケーションナムそれらのタグを非常に効率的に使用することができます。