NLTK - チャンクされたツリーをリストに変換する（IOBタグ付け）

Question

名前付きエンティティ認識/分類を実行し、IOBタグ付き形式で出力を生成する必要があります。

私はNLTK-train libraryによって配信されるNLTKチャンクを使用していますが、IOBタグのリストではなくツリーを生成します。

def chunk_iob(list_of_words): 
    nltk_tagger = nltk.data.load("taggers/conll2002_aubt.pickle") 
    nltk_chunker = nltk.data.load("chunkers/conll2002_NaiveBayes.pickle") 

    t = nltk_tagger.tag(list_of_words) 
    print(t) 
    c = nltk_chunker.parse(t) 
    print(c) 

、我々は次のように、ツリーとしてCを得る：

(S 
    (LOC Barcelona/NC) 
    (PER Juan/NC :/Fd) 

...

しかし、私はのようなものを探しています：IOBです

Barcelona - LOC 
Juan - PER 
... 

list_of_wordsパラメータのタグ付きリストをlist_of_wordsと同じ順序で並べ替えます。

ツリーからタグ付きリストを取得するにはどうすればよいですか？

Answer 1

あなたが探しているものはtree2conlltagsとその逆conlltags2treeです。しくみはこうだ：

は

from nltk import word_tokenize, pos_tag, ne_chunk 
from nltk import conlltags2tree, tree2conlltags 


tree = ne_chunk(pos_tag(word_tokenize("New York is my favorite city"))) 
print tree 
# (S (GPE New/NNP York/NNP) is/VBZ my/PRP$ favorite/JJ city/NN) 

iob_tags = tree2conlltags(tree) 
print iob_tags 
# [('New', 'NNP', u'B-GPE'), ('York', 'NNP', u'I-GPE'), ('is', 'VBZ', u'O'), ('my', 'PRP$', u'O'), ('favorite', 'JJ', u'O'), ('city', 'NN', u'O')] 

tree = conlltags2tree(iob_tags) 
print tree 
# (S (GPE New/NNP York/NNP) is/VBZ my/PRP$ favorite/JJ city/NN) 

注IOBタグは内側と外側のためOのために、このフォーマット初めのためB- {タグ}、I- {タグ}であること。