Scrapy - 正規表現に基づいて処理されるオフサイトリクエスト

Question

私は5-6ドメインをクロールする必要があります。オフサイトURLに上記のセットの部分文字列が含まれていて、それを処理してフィルタリングしない場合は、[aaa、bbb、ccc] と設定された一部の部分文字列の例が含まれているように、クローラを作成します。私はカスタムミドルウェアを書くべきですか、または私はちょうど許可されたドメインで正規表現を使用することができます。

Answer 1

オフサイトミドルウェアは既定でregexを既に使用していますが、公開されていません。あなたが正規表現に提供するドメインをコンパイルしますが、ドメインはエスケープされるので、allowed_domainsの正規表現コードは動作しません。

あなたができることは、ミドルウェアを拡張し、get_host_regex()メソッドをオーバーライドして独自のオフサイトポリシーを実装することです。

scrapy.spidermiddlewares.offsite.OffsiteMiddlewareで元のコード：

# middlewares.py  
class MyOffsiteMiddleware(OffsiteMiddleware): 
    def get_host_regex(self, spider): 
     allowed_regex = getattr(spider, 'allowed_regex', '') 
     return re.compile(allowed_regex) 

# spiders/myspider.py 
class MySpider(scrapy.Spider): 
    allowed_regex = '.+?\.com' 

# settings.py 
DOWNLOADER_MIDDLEWARES = { 
    'myproject.middlewares.MyOffsiteMiddleware': 666, 
}