URLキューを構築する

Question

大規模なWebクローラでURLキューを構築する方が良いです。リンクされたリストまたはBツリー？

Answer 1

キューを検索する必要がない場合（およびキューを一般的に検索する必要はない場合）、リンクされたリスト。

Answer 2

オーダーが重要な場合（およびキューがある場合）、リンクされたリスト。キューを検索する必要がある場合は、Bツリーをクリックします。

Answer 3

大規模なクローラを構築する場合は、ほとんどの場合、おそらくRabbitMQというAMQPメッセージキューのようなものを使用したいと考えています。 RabbitMQ（および他の多くの同様のMQ）は、通常のインストールでは1秒間に100,000以上のトランザクションを処理します。私は自分自身のスパイダー/クローラーのセットアップでそれを使用し、それは魅力的に機能します。確かに、最初から似たようなものを作るよりもはるかに簡単です。