Storm Crawlerの再帰的クロールの優先順位付け

Question

ワールドワイドウェブをクロールすると、クローラにURLの初期のシードリストを与えたいと思っています。

私はこのようなオプションをApach Nutchで見ています（のtopNパラメータを参照）。そのようなオプションはStorm Crawlerにもありますか？

Answer 1

StormCrawlerは再帰的クロールを処理でき、URLの優先順位付けの方法はURLの格納に使用するバックエンドによって異なります。

たとえば、短いチュートリアルのREADMEとsample config fileを参照してください。デフォルトでは、スパウトはnextFetchDate（**。sort.field *）に基づいてURLをソートします。

Nutchでは、-topN引数は、次のセグメントに入れるURLの最大数を指定します（スコアリングプラグインが使用するスコアによって異なります）。 StormCrawlerではバッチ処理されないので同等のものは必要ありません。クロールは連続して実行されます。