TweetクラスタリングのためのDBSCAN Algoのパラメータを決定する

Question

最新ニュースを検出するためにツイートをクラスタリングしようとしています。私はクラスタリング手法としてDBSCANを使用しています。私は良い値のεとmin_sample_pointに到達することができません。つぶやきをクラスタ化するために、私は2000個のつぶやきのバッチを作成し、それにクラスタリングアルゴリズムを適用しています。 feautureの抽出のために、私はscikit.learnパッケージのtf-idfベクトル化を使用しています。ベクトル化器のパラメータとしてmax_df = 0.6およびmin_df = 5およびバイグラムを使用する。大部分の結果は、ほとんどのつぶやきを異常値として表示したり、多数のランダムなつぶやきを単一のクラスタに表示したりします。私は使用した値の例 - eps = 0.2とmin_samples = 8。また、クラスタ（k）の数がこの問題について予見できず、クラスタの形状が球形ではない場合があるので、K平均アルゴリズムを避けています。

Answer 1

ニュース速報では、クラスタリングよりはるかに優れたアプローチがあります。

テキストデータ、特にTwitterは信じられないほど騒々しいです。多くのつぶやきはちょうど完全なナンセンスです。しかし、主な問題は、が短すぎることです。です。数語しかない場合は、距離を測定するためのデータが少なすぎます。 "車が壁に当たった。"と "壁の通りの車"は非常に似た言葉（TF-IDFに基づいて）を持っていますが、それらは非常に異なる意味を持っています。

私はこれがうまくいかないことに驚くことはありません。実際には "失敗"するクラスタリングではなく、距離機能です。