セレンとスクラップ用のDownloaderミドルウェアをカスタマイズするにはどうすればいいですか？

Question

私はセレンと治療目的との間のコミュニケーションに問題があります。

私はセレンを使っていくつかのサイトにログインしていますが、そのレスポンスを取得すると、スクレープの関数を解析して処理したいと思っています。私のミドルウェアを書くのを手伝ってもらえるように、セレンのドライバーとレスポンスはすべて治療に合格するようにしてください。

ありがとうございました！

Answer 1

それはwebdriverをして​​ミドルウェアを作成して、要求をインターセプトし、それを破棄し、それはあなたのセレンwebdriverをにそれを渡すために持っていたURLを使用するprocess_requestを使用し、非常に簡単です：

from scrapy.http import HtmlResponse 
from selenium import webdriver 


class DownloaderMiddleware(object): 
    def __init__(self): 
     self.driver = webdriver.Chrome() # your chosen driver 

    def process_request(self, request, spider): 
     # only process tagged request or delete this if you want all 
     if not request.meta.get('selenium'): 
      return 
     self.driver.get(request.url) 
     body = self.driver.page_source 
     response = HtmlResponse(url=self.driver.current_url, body=body) 
     return response 

これの欠点がありますselenium webdriveは一度に1つのURLしか処理できないため、スパイダーの並行性を取り除かなければならないということです。それについてはsettings documentation pageを参照してください。