これは繰り返しの質問かもしれません。私はScrapyのスパイダーを動かそうとしていますが、できません。 「HtmlResponseには属性urljoinがありません」というエラーメッセージが表示されるのはなぜですか? request_countが3で、response_countも3の場合、Scrapy統計はどういう意味ですか?私のコードはここにあります。私はこの問題について何か助けていただければ幸いです。Scrapyがクロール/解析されないのはなぜですか?
import scrapy
from scrapy.http.request import Request
from scrapy.spiders import BaseSpider
from scrapy.selector import HtmlXPathSelector
class BotSpider_2(BaseSpider):
name = 'BotSpider_2'
name = "google.co.th"
start_urls = ["http://www.google.co.th/"]
def parse(self, response):
sel = Selector(response)
sites = sel.xpath('//title/text()').extract()
print sites