ドキュメント比較ソフトウェアの作成

Question

2つのドキュメントのテキストを読み込んで比較することで、2つのドキュメント間で何らかのテキストがコピーされたかどうかを判断できるアプリケーションを作成したいと考えています。私は誰もこれをやろうとしたことがあり、それを処理する最善の方法は何かを知りたかったのです。機械学習と自然言語処理が関係している場合：どのレベルですか？

Answer 1

私はCopyscapeが4グラムを使用して一意性を判断すると信じています。

これらの文字列は、N-Gramsと呼ばれます。

ただし、文字ベースでlanguage independent algo comparing bi-gramsにリンクされているanother SO answer。すでにJavaで実装されているため、時間を節約できます。

Answer 2

は良いスタートのためhttp://en.wikipedia.org/wiki/W-shinglingを試しセット論的概念に純粋に依存している技術があります。