screamスパイダーと異なるIPアドレスをバインド

Question

どのように私はスパイダースパイダーに異なるパブリックIPアドレスをバインドできますか？さらに、各ソースIPのレート制限を設定することもできます（CONCURRENT_REQUESTS_PER_SOURCE_IPなど）。

治療のドキュメントから、CONCURRENT_REQUESTS_PER_DOMAINとCONCURRENT_REQUESTS_PER_IPの両方が、ターゲットドメインとターゲットIPで動作するようです。

Answer 1

可能ですが、Scrapyコアを少し変更する必要があります。 他の誰かが変更提案をしばらく前に作成しましたが、現在のソースの外観では決して変更されませんでした。

the information in this change proposalを使用すると、数分で自分で修正することができます。

変更案は1.5歳以上ですが、その特定のプロポーザルの編集ファイルの現在のソースは依然として非常に似ています。