別のドメインでScrapyが同じURLを要求した場合、そのURLを要求しますか？

私はdont_filter = Falseを持っているとし、現在のドメインですでに遭遇したURLに対して重複した要求を送信しませんが、私は別のドメインに移動すると、新しい要求を送信しますか？別のドメインでScrapyが同じURLを要求した場合、そのURLを要求しますか？

実際には、私はちょうど彼らのリファラーと一緒に重複要求を持っているURLを記録したいです。これらの重複要求をキャプチャする適切な場所は何でしょうか？

2016-05-02 Umar Iqbal

重複しているリクエストはすでにフィルタリングされてログに記録されています。これらのログを確認する設定にはDUPEFILTER_DEBUG=Trueを設定してください。

dupefilterの実装をcheck hereで作成することもできます。

ありますが、リクエストヘッダーにとリファラーをチェックすることもできます

request.headers.get('referer')

2016-05-02 13:00:20 eLRuLL

私がログに記録されている重複を認識してんだけどどこで（sepertely、または使用）ログインすることができ、これらのURL私は何かをしたい場合それらのURL？ –

を独自のdupefilter実装で使用します。 – eLRuLL

解決しましたか？ – eLRuLL

答えて