Selenium + Scrapyの使用

Question

私はJavascriptとやりとりできるように、またセレクションが提供する強力なスクレイピングフレームワークを持つために、セレニウムを使ってscrapyを使用しようとしています。私はhttp://www.iens.nlを訪問し、検索バーに "Amsterdam"と入力し、検索ボタンをクリックするスクリプトを書いた。検索ボタンをクリックすると、新しくレンダリングされたページから要素を取り出すためにscrapyが必要になります。残念ながら、scrapyは値を返しません。

from selenium import webdriver 
from scrapy.loader import ItemLoader 
from scrapy import Request 
from scrapy.crawler import CrawlerProcess 
from properties import PropertiesItem 
import scrapy 


class BasicSpider(scrapy.Spider): 
    name = "basic" 
    allowed_domains = ["web"] 
    # Start on a property page 
    start_urls = ['http://www.iens.nl'] 

    def __init__(self): 
     chrome_path = '/Users/username/Documents/chromedriver' 
     self.driver = webdriver.Chrome(chrome_path) 

    def parse(self, response): 
     self.driver.get(response.url) 
     text_box = self.driver.find_element_by_xpath('//*[@id="searchText"]') 
     submit_button = self.driver.find_element_by_xpath('//*[@id="button_search"]') 
     text_box.send_keys("Amsterdam") 
     submit_button.click() 

     l = ItemLoader(item=PropertiesItem(), response=response) 
     l.add_xpath('description', '//*[@id="results"]/ul/li[1]/div[2]/h3/a/') 

     return l.load_item() 


process = CrawlerProcess() 
process.crawl(BasicSpider) 
process.start() 

"プロパティ" は、このようになります別のスクリプトです：

これは私のコードは次のようになります

from scrapy.item import Item, Field 

class PropertiesItem(Item): 
    # Primary fields 
    description = Field() 

Q：私は正常に要素を見つけるscrapy作るにはどうすればよいですセレンが到達したページのxpathによって「記述」と呼ばれ、出力として返されますか？

ありがとうございます！

Answer 1

ItemLoaderに割り当てられているresponseオブジェクトは、scrapyというレスポンスであり、Selenium'sではありません。

私はセレンで返されるページのソースで新しいSelectorを作成することをお勧めします：

from scrapy import Selector 
... 

selenium_response_text = driver.page_source 

new_selector = Selector(text=selenium_response_text) 
l = ItemLoader(item=PropertiesItem(), selector=new_selector) 
... 

その方法をadd_xpathは（あなたが実際に必要としないこと）を代わりにscrapyの応答構造体から情報を取得します。