クラシファイアアルゴリズムを使用して単一テキストを分類する方法

Question

クラスタ化されたドキュメントのセットがあります。各ドキュメントにはラベルが付いています。私はこれに基づいて分類器を作って訓練してテストして、うまく動作するようにして、新しい文書/テキストを与えると適切なクラスターに落ちたかったのです。だから、私はcountVectorizerを使ってドキュメントをフィーチャに変換しました。私はこのcountVectorizerが、私が提供した一連の文書（1000以上の文書）のすべての単語のユニークなセットを取ることを知っています。 私はKNNまたはNavieBayesのいずれかの分類器を作成しましたが、今は新しいテキストファイルまたはドキュメントを持っています。これをフィーチャに変換する必要があります。しかし、もし私がcountVectorizerに単一のdocumnetを与えれば、私はほんの少しの単語しか持たないでしょうし、それに基づいて、すべての機能はトレーニングとテストのドキュメントとは異なるでしょう。 私が与える非常に同じ文書に対して同じcountVectorizerオブジェクトを使用する方法はありますか？ 親切に私、任意の提案やこれを行う方法を案内しますか？

def classifierNaviaBayes(self): 
    count_vectorizer = CountVectorizer(binary='true') 
    train_documents = count_vectorizer.fit_transform(self.training_documents) 
    classifier = BernoulliNB().fit(train_documents, self.training_labels) 

    "Test Phase" 
    count_worng_prediction = 0 
    for i in range(0,len(self.test_documents)): 
     print("The predicted value is ",classifier.predict(count_vectorizer.transform([self.test_documents[i]]))) 
     print("The expected value is ", self.test_labels[i]) 
     predicted_result = classifier.predict(count_vectorizer.transform([self.test_documents[i]]))[0] 
     expected_result = self.test_labels[i] 
     if predicted_result != expected_result: 
      count_worng_prediction +=1 

    print("The percentage of prediction accuracy is ",(100-(count_worng_prediction/len(self.test_documents))*100)) 

私も同じcountVertorizerをテストデータに使用しています。したがって、以下のコードが動作しています。

Answer 1

CountVectorizer.transformを使用すると、テストドキュメントを分類する正しい方法です。トレーニングデータに適合したベクタライザを使用してテストセットを変換すると、テストセットの新しいボキャブラリは使用されません。あなたはhere