Apache Nutch 1.4を使用してクロールおよび解析後に取得されたHTMLドキュメントから特定のタグを取得します。

Question

Nutch 1.4を使用してウェブサイトをクロールしました。 ウェブサイトが正常にクロールされ、すべてのページがセグメントにダンプされました。 すべてのセグメントを1つのセグメントにマージしてから、readsegコマンドを使用して、すべてのクロールされたページのテキスト版を取得しました。 これで、そのページに格納されているページのURLとメタデータを調べる必要があります。 どのコマンドを使用するのかわかりませんが、何か違うことをする必要がありますか？

googleで多くの努力をしてきました。あなたは、別のプラグインを作成する必要があると言った人がいました。誰かが私に教えてくれますか？

ありがとう:) :)

Answer 1

最後に、私はそれを行うことができます。他の誰かがそれを必要とする場合のための共有。 http://wiki.apache.org/nutch/IndexMetatags

をそれは 乾杯:)

Answer 2

はクロールを行い、この問題を解決します： あなたは、インデックス、メタタグがここで提供するプラグインを使用することができます。その後、これを端末に入力します。

bin/nutch readseg -dump crawl/segments/* output -nocontent -nofetch -nogenerate -noparse -noparsedata 

実行すると、ヘッダー情報と内容を含むファイルが作成されます。その後、ファイルを簡単に変更して、文字列操作で必要な情報を取得できます。