テキストコーパスをvocabulary_idとそれぞれのtfidfスコアでテキスト文書に変換する

Question

私は5つの文書を持つテキストコーパスを持っています。すべての文書は/ nでお互いに分かれています。私は文書内のすべての単語にidを与え、それぞれのtfidfのスコアを計算したいと考えています。 例えば、私たちは次のように「corpus.txt」という名前のテキストコーパスを持っているとします -

mylist =list("corpus.text") 
vectorizer= CountVectorizer 
x_counts = vectorizer_train.fit_transform(mylist) 
tfidf_transformer = TfidfTransformer() 
x_tfidf = tfidf_transformer.fit_transform(x_counts) 

を使用してTFIDFを計算しながら 「スタック は流れの上に テキストベクトル化scikit PythonがまばらなCSRのscipyのダウンロード」

出力

(0,12) 0.1234 #for 1st document 
(1,8) 0.3456 #for 2nd document 
(1,4) 0.8976 
(2,15) 0.6754 #for third document 
(2,14) 0.2389 
(2,3) 0.7823 
(3,11) 0.9897 #for fourth document 
(3,13) 0.8213 
(3,5) 0.7722 
(3,6) 0.2211 
(4,7) 0.1100 # for fifth document 
(4,10) 0.6690 
(4,2) 0.0912 
(4,9) 0.2345 
(4,1) 0.1234 

Iは、文書IDを削除するリストのリストにこのscipy.sparse.csr行列を変換し、Kでありますのみvocabulary_idとそれぞれtfidfスコア使っeeping：

m = x_tfidf.tocoo() 
mydata = {k: v for k, v in zip(m.col, m.data)} 
key_val_pairs = [str(k) + ":" + str(v) for k, v in mydata.items()] 

をしかし、問題は、私はvocabulary_idとそれぞれtfidfスコアは昇順で、ドキュメントを参照せずに配置された出力を取得していますということです。次のように私は私のテキストファイルは次のようになりたいだろう一方

1:0.1234 
2:0.0912 
3:0.7823 
4:0.8976 
5:0.7722 
6:0.2211 
7:0.1100 
8:0.3456 
9:0.2345 
10:0.6690 
11:0.9897 
12:0.1234 
13:0.8213 
14:0.2389 
15:0.6754 

：たとえば

は、上記のコーパスのために私の現在の出力は、（私はJSONを使用してテキストファイルにダンプしている）のようになります。

12:0.1234 
8:0.3456 4:0.8976 
15:0.1234 14:0.2389 3:0.7823 
11:0.9897 13:0.8213 5:0.7722 6:0.2211 
7:0.1100 10:0.6690 2:0.0912 9:0.2345 1:0.1234 

どうすればいいですか？

Answer 1

これはあなたが必要とするものだと思います。ここではcorpusはドキュメントの集まりです。

from sklearn.feature_extraction.text import TfidfVectorizer 
corpus = ["stack over flow stack over flow text vectorization scikit", "stack over flow"] 

vectorizer = TfidfVectorizer() 
x = vectorizer.fit_transform(corpus) # corpus is a collection of documents 

print(vectorizer.vocabulary_) # vocabulary terms and their index 
print(x) # tf-idf weights for each terms belong to a particular document 

この版画：

この情報から

{'vectorization': 5, 'text': 4, 'over': 1, 'flow': 0, 'stack': 3, 'scikit': 2} 
    (0, 2) 0.33195438857 # first document, word = scikit 
    (0, 5) 0.33195438857 # word = vectorization 
    (0, 4) 0.33195438857 # word = text 
    (0, 0) 0.472376562969 # word = flow 
    (0, 1) 0.472376562969 # word = over 
    (0, 3) 0.472376562969 # word = stack 
    (1, 0) 0.57735026919 # second document 
    (1, 1) 0.57735026919 
    (1, 3) 0.57735026919 

、次のようにご希望の方法でドキュメントを表すことができます。

cx = x.tocoo() 
doc_id = -1 
for i,j,v in zip(cx.row, cx.col, cx.data): 
    if doc_id == -1: 
     print(str(j) + ':' + "{:.4f}".format(v), end=' ') 
    else: 
     if doc_id != i: 
      print() 
     print(str(j) + ':' + "{:.4f}".format(v), end=' ') 
    doc_id = i 

この版画：

2:0.3320 5:0.3320 4:0.3320 0:0.4724 1:0.4724 3:0.4724 
0:0.5774 1:0.5774 3:0.5774