Scrapy process_linksとprocess_requestのコード例

Question

私はScrapyが新しく、誰かがprocess_linksとprocess_requestが最も有用なサンプルコードを教えてくれればと思っていました。私はprocess_linksがURLをフィルタリングするのに使われているのを見ていますが、コード化する方法はわかりません。

ありがとうございます。

Answer 1

あなたは、彼らはかなり名前が言うか、リンクを抽出して処理される時間との間のミドルウェアの一種として作用する他の言葉で/ダウンロードを行う最も一般的scrapy.CrawlSpider

で使用されているscrapy.spiders.Ruleを意味します。

process_linksリンクが抽出され、要求に変換されるまでの間にあります。これにはかなり便利なケースがあります。普通のものをいくつか挙げておきます。

1. あなたが気に入らないリンクをいくつか除外してください。
2. 不正な要求を避けるため、手動でリダイレクトを行います。

例：

def process_links(self, link): 
    for link in links: 
     #1 
     if 'foo' in link.text: 
      continue # skip all links that have "foo" in their text 
     yield link 
     #2 
     link.url = link.url + '/' # fix url to avoid unnecessary redirection 
     yield link 

process_requestsだけで作られた、それがダウンロードされている前に、要求の間に位置します。それはprocess_linksといくつかのユースケースを共有するが、実際のように、いくつかの他のクールなものを行うことができます。

1. 変更ヘッダ（例えばクッキー。）。
2. URLの一部のキーワードに応じて、コールバックのような詳細を変更します。

例：あなたはおそらくつもり頻繁にそれらを使用していないが、これらの二つは、いくつかの場面では本当に便利で簡単にショートカットすることができ

def process_req(self, req): 
    # 1 
    req = req.replace(headers={'Cookie':'foobar'}) 
    return req 
    # 2 
    if 'foo' in req.url: 
     return req.replace(callback=self.parse_foo) 
    elif 'bar' in req.url: 
     return req.replace(callback=self.parse_bar) 
    return req 

。