POS-Taggerは非常に遅いです

Question

私はnltkを使用して、指定されたストップワードを最初に削除して文からnグラムを生成しています。しかし、nltk.pos_tag()は、CPU（Intel i7）で0.6秒という非常に遅いです。

出力：

['The first time I went, and was completely taken by the live jazz band and atmosphere, I ordered the Lobster Cobb Salad.'] 
0.620481014252 
["It's simply the best meal in NYC."] 
0.640982151031 
['You cannot go wrong at the Red Eye Grill.'] 
0.644664049149 

コード：

for sentence in source: 

    nltk_ngrams = None 

    if stop_words is not None: 
     start = time.time() 
     sentence_pos = nltk.pos_tag(word_tokenize(sentence)) 
     print time.time() - start 

     filtered_words = [word for (word, pos) in sentence_pos if pos not in stop_words] 
    else: 
     filtered_words = ngrams(sentence.split(), n) 

が、これは本当に遅いですか、私はここで何か間違ったことをやっていますか？複数の文をタグ付けするための

Answer 1

使用pos_tag_sents：あなたがPythonで高速なパフォーマンスを持つ別のPOSタガーを探しているなら

>>> import time 
>>> from nltk.corpus import brown 
>>> from nltk import pos_tag 
>>> from nltk import pos_tag_sents 
>>> sents = brown.sents()[:10] 
>>> start = time.time(); pos_tag(sents[0]); print time.time() - start 
0.934092998505 
>>> start = time.time(); [pos_tag(s) for s in sents]; print time.time() - start 
9.5061340332 
>>> start = time.time(); pos_tag_sents(sents); print time.time() - start 
0.939551115036 

Answer 2

、あなたがRDRPOSTaggerをしようとする場合があります。たとえば、英語のPOSタグでは、Core 2Duo 2.4GHzのコンピュータを使用して、Pythonのシングルスレッド実装の場合、タギング速度は8Kワード/秒です。マルチスレッドモードを使用するだけで、タグ付けの速度を向上させることができます。 RDRPOSTaggerは、最先端のタガーと比較して非常に競争力のある精度を獲得し、現在は40の言語の事前訓練モデルをサポートしています。実験結果はthis paperです。

Answer 3

nltk pos_tag is defined as: 
from nltk.tag.perceptron import PerceptronTagger 
def pos_tag(tokens, tagset=None): 
    tagger = PerceptronTagger() 
    return _pos_tag(tokens, tagset, tagger) 

のでpos_tagへの各呼び出しは、計算time.Youの多くを取るperceptrontaggerモジュールが直接として自分自身をtagger.tag呼び出すことで、この時間を節約することができインスタンス化します。

from nltk.tag.perceptron import PerceptronTagger 
tagger=PerceptronTagger() 
sentence_pos = tagger.tag(word_tokenize(sentence))