ScikitでTfidfVectorizerとKMeansをフィッティングした後で予測を行うにはどうすればよいですか？

Question

私はPandas Dataframeにあるトレーニングデータセットを持っています。私はTfIdf Vectorizationを使って機能を取得し、Kmeansを実行しました。ここに関連するコードは次のとおりです。

vectorizer = TfidfVectorizer(max_df=0.8, max_features=max_feat, norm="l1", analyzer="word", 
           min_df=0.1,ngram_range=(1,2) 
           ) 

X = vectorizer.fit_transform(df['reviews']) 
km = KMeans(n_clusters=number, init='k-means++', max_iter=100, n_init=3, 
        verbose=1, n_jobs = -2) 
km.fit(X) 

私はこれを通じて重心を取得することができます：

今

order_centroids = km.cluster_centers_.argsort()[:, ::-1] 

、私はエラーを取得するテストデータを実行しようとします。ここにテストデータ用に実行しているコードがあります。私は基本的にパンダのテストデータフレームから各行を取り出し、上記の同じベクトル化ツールに適合させています。私はそれを間違っているのですか？ rowX = vectorizer.fit(testVectorizerArray)行で

sample = df.tail(int(totalTestRows * lineLimit)) 

for row in sample.itertuples(): 
    test_data = np.array([row[6]]) 
    testVectorizerArray = vectorizer.transform(test_data).toarray() 
    rowX = vectorizer.fit(testVectorizerArray) 
    print(km.predict(rowX)) 

、私は次のエラーを取得しています：

AttributeError: 'numpy.ndarray' object has no attribute 'lower' 

私はStackOverflowの通過を検索し、私が1次元配列としてtest_data配列をフォーマットする必要があると思われます。私はチェックし、test_dataは(n,)の形式です。しかし、私はまだエラーが発生しています。私のアプローチに何か問題はありますか？あなたは、テスト段階でベクトライザーを再装着すべきではない

Answer 1

あなたはパイプラインでベクトライザーと分類器を組み合わせた場合、あなたのコードがきれいになります：

from sklearn.pipeline import make_pipeline 
vectorizer = TfidfVectorizer(max_df=0.8, max_features=max_feat, norm="l1", analyzer="word", 
           min_df=0.1,ngram_range=(1,2) 
           ) 
km = KMeans(n_clusters=number, init='k-means++', max_iter=100, n_init=3, 
        verbose=1, n_jobs = -2) 
clf = make_pipeline(vectorizer, km) 
clf.fit(X) 


sample = df.tail(int(totalTestRows * lineLimit)) 

for row in sample.itertuples(): 
    test_data = np.array([row[6]]) 
    print(clf.predict(test_data))