9
同じプロジェクト内で複数のスパイダーを一緒に使うことができるかどうかを知りたい。実際に私は2つのクモが必要です。最初の人は、2番目のスパイダーがかき集めるべきリンクを集めます。彼らはどちらも同じウェブサイト上で動作するので、ドメインは似ています。可能でしょうか?はいの場合は、私に例を挙げることができますか? おかげScrapyのプロジェクトで複数のスパイダーを使用する
同じプロジェクト内で複数のスパイダーを一緒に使うことができるかどうかを知りたい。実際に私は2つのクモが必要です。最初の人は、2番目のスパイダーがかき集めるべきリンクを集めます。彼らはどちらも同じウェブサイト上で動作するので、ドメインは似ています。可能でしょうか?はいの場合は、私に例を挙げることができますか? おかげScrapyのプロジェクトで複数のスパイダーを使用する
たぶん、これはあなたが探しているものです:
def parse(self, response):
# parse the links (aka your first spider)
for link in hxs('//XPATH'):
yield Request(link.extract(), callback=self.parse_link)
def parse_link(self, response):
# continue parsing (aka your second spider)
希望はあなたが
を:)このヘルプでは、これは実際には、「複数のスパイダー」という質問に答えていません。これは、複数のスパイダーの使用に取って代わる共通のハックです。より完全な答えがあれば、良いことがあります。 –