ファイルのすべてのクラスの単語を数えます。

Question

私はいくつかのファイルをペルシア語で持っています。それらのすべてには多くの文章が含まれており、その後に「タブ」、ペルシャ語、「タブ」、そして英語の単語が含まれています。英語の単語は、それぞれの文のクラスを示します。私はすべてのクラスでペルシャ文の各単語の数を数えなければなりません。たとえば、「دانشگاه」という単語が「情熱」クラスで何回出現したか、「塩辛い」クラスで何回出現するかなどです。 （一部のファイルには2つ以上のクラスがあります）。私が書いたコードは、単語をファイル内で一度だけ数えます。上記のように、どのように単語の数を返すように変更できますか？ （ヒント：「タブ」の後のペルシア語と英語の単語ではなく、文中の単語の数が必要です）。

from collections import Counter 

corpus = [] 
with open("T.txt", encoding='utf-8') as f: 
    for line in f: 
     t = line.strip().split("\t") 
     corpus.append (t) 
     for row in corpus: 
      wordcount = Counter(row[0].split()) 
     print (wordcount) 

https://www.dropbox.com/s/r88hglemg7aot0w/F.txt?dl=0

結果は、画像上の通りです。こと、

Answer 1

以下は、それを行う最も効率的な方法ではありませんが、それは何をしているのかより明確です。

from collections import Counter, defaultdict 

#find all Persian words and save them in a set 
vocab = set() 
classes = set() 
with open("T.txt", encoding='utf-8') as fin: 
    for line in fin: 
     t = line.strip().split('\t') 
     sentences = t[0] 
     class = t[2] 
     classes.add(class) 
     for word in sentences.split(): 
      vocab.add(word) 
class_word_count = defaultdict(dict) 
for class in classes: 
    for word in vocab: 
     class_word_count[class][word] = 0 
#now start counting 
with open("T.txt", encoding='utf-8') as fin: 
    for line in fin: 
     t = line.strip().split('\t') 
     sentences = t[0] 
     class = t[2] 
     for word in sentences.split(): 
      class_word_count[class][word] = class_word_count[class][word] + 1 
print(class_word_count) 

Answer 2

アサー： 塩辛い{0、..... "دانشگاه"}：{1、... "دانشگاه"} 情熱：しかし、私が望む事はすべての単語については、以下のようにする必要がありますクラスが常に行[2]で見つかるようにファイル構造が固定され、残りのすべてが行ごとに集計されるのではなく、合計されます。 編集：このコードは、見つかった各単語を集計し、この単語が見つかったカテゴリのカウンタを保持します。カテゴリにカウンタが存在しない場合、単語はそのカテゴリに存在しません。

from collections import Counter, defaultdict 

wordcount = defaultdict(Counter) 
with open("T.txt", encoding='utf-8') as f: 
    for line in f: 
     t = line.strip().split("\t") 
     for word in t[0].split(): 
      wordcount[word] += Counter([t[2]]) 
print (wordcount)