さまざまなスパイダーのための異なる治療設定を設定するにはどうすればいいですか？

Question

一部のスパイダーではhttp-proxyを有効にし、他のスパイダーでは無効にしたいと考えています。

私はこれを行うことはできますか？

# settings.py 
proxy_spiders = ['a1' , b2'] 

if spider in proxy_spider: #how to get spider name ??? 
    HTTP_PROXY = 'http://127.0.0.1:8123' 
    DOWNLOADER_MIDDLEWARES = { 
     'myproject.middlewares.RandomUserAgentMiddleware': 400, 
     'myproject.middlewares.ProxyMiddleware': 410, 
     'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None 
    } 
else: 
    DOWNLOADER_MIDDLEWARES = { 
     'myproject.middlewares.RandomUserAgentMiddleware': 400, 
     'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None 
    } 

上記のコードが機能しない場合は、他にも提案はありますか？

Answer 1

あなたは、このように簡単な何か独自のプロキシミドルウェアを定義することができます。

を

from scrapy.contrib.downloadermiddleware import HttpProxyMiddleware 

class ConditionalProxyMiddleware(HttpProxyMiddleware): 
    def process_request(self, request, spider): 
     if getattr(spider, 'use_proxy', None): 
      return super(ConditionalProxyMiddleware, self).process_request(request, spider) 

次に、プロキシを有効にしたいスパイダーに属性use_proxy = Trueを定義します。デフォルトのプロキシミドルウェアを無効にして、変更したミドルウェアを有効にすることを忘れないでください。

Answer 2

1つではなく2つのプロジェクトを使用してみませんか？

proj1とproj2という2つのプロジェクトを指定しましょう。 proj1でのsettings.py、これらの設定を置く：proj2で

HTTP_PROXY = 'http://127.0.0.1:8123' 
DOWNLOADER_MIDDLEWARES = { 
    'myproject.middlewares.RandomUserAgentMiddleware': 400, 
    'myproject.middlewares.ProxyMiddleware': 410, 
    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None 
} 

のsettings.pyを、これらの設定を置く：

DOWNLOADER_MIDDLEWARES = { 
    'myproject.middlewares.RandomUserAgentMiddleware': 400, 
    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None 
} 

Answer 3

あなたが働くspider.pyファイル 例内setting.overridesを追加することができます。

from scrapy.conf import settings 

settings.overrides['DOWNLOAD_TIMEOUT'] = 300 

があなたのために、このようなものも少し遅れて

from scrapy.conf import settings 

settings.overrides['DOWNLOADER_MIDDLEWARES'] = { 
    'myproject.middlewares.RandomUserAgentMiddleware': 400, 
    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None 
} 

Answer 4

を動作するはずですが、以来、 1.0.0をリリースすると、スパイダーごとの設定を次のようにオーバーライドすることができます。

class MySpider(scrapy.Spider): 
    name = "my_spider" 
    custom_settings = {"HTTP_PROXY":'http://127.0.0.1:8123', 
         "DOWNLOADER_MIDDLEWARES": {'myproject.middlewares.RandomUserAgentMiddleware': 400, 
                'myproject.middlewares.ProxyMiddleware': 410, 
                'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None}} 




class MySpider2(scrapy.Spider): 
     name = "my_spider2" 
     custom_settings = {"DOWNLOADER_MIDDLEWARES": {'myproject.middlewares.RandomUserAgentMiddleware': 400, 
                 'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None}} 

Answer 5

これを行うためのもっと簡単な方法があります。

class MySpider(scrapy.Spider): 
    name = 'myspider' 

    custom_settings = { 
     'SOME_SETTING': 'some value', 
    } 

私は、ユーザーが何をしたいのかではありませんScrapy 1.3.1