nlp-スタンフォードOpenNLPの文と文の違い？

Question

注釈を付ける記事があるとします。私たちが文書を本当に長い文として入力した場合、Stanfordは、文書のすべての文をループしてその結果を集めるのではなく、1つの長い文に注釈を付けることとは何か異なりますか？

EDIT：テストを実行しました.2つのアプローチが2つの異なるNERセットを返すようです。私は間違っているかもしれませんが、それは確かに面白い面白いです。なぜこれが起こるのか不思議です。

Answer 1

あなたはスタンフォードCoreNLP（Apache OpenNLPとは対照的）を意味するのですか？

SentenceとDocumentの間のCoreNLP Simple APIの主な違いはトークン化です。 Sentenceは、たとえ句読点があっても、テキスト全体を強制的に1つのセンテンスとみなします。 Documentは、最初にテキストを文のリストにトークン化し、各文に注釈を付けます。

構成員パーサーのような注釈者にとって、非常に長い文章は、注釈を付けるのに非常に長い時間がかかります。また、同義語は文章ではなく文書上でのみ機能することに注意してください。