マルチスレッドJavaクローラーを学ぶのに良いスタート

Question

私はJavaでWebクローラーを開発しています。私はそれに基づいてこのクローラを開発する良いプロジェクトを探しています。しかし、文字通りJavaで書かれた数百クローラー以上のものがあります。私が探している何を、持っていかなり単純クローラーれる：

• マルチスレッド機能
• 良いパフォーマンス
• Javaは
• Aを構築し、新しい技術の最新に基づいて実装良いドキュメント
• 不必要な機能（bloats）がたくさんありません
• 私のprojecに簡単に統合する能力トン私が探している何

Answer 1

は、かなり単純なクローラです...

あなたは本当にクローラについての簡単なものはない、ということを見つけるつもりはありません！ケースとポイントは、これらの機能（特に最後の箇条書き）を有する程度の簡単なものは何もない。

• マルチスレッド機能
• 良いパフォーマンスが
最新のJavaを構築し、新しい技術
• に基づいて
• を実装します良いドキュメント
• ない不必要な機能の多く（bloats）
• 能力は簡単に私のプロジェクトに統合する

Nutchは、要件のほとんどを満たしてフル機能のJavaクローラです：http://nutch.apache.org/

はまた、私はあなたがこの質問をチェックアウトをお勧めします：https://stackoverflow.com/questions/2495289/what-is-a-good-java-web-crawler-library