2011-02-03 10 views
9

同じプロジェクト内で複数のスパイダーを一緒に使うことができるかどうかを知りたい。実際に私は2つのクモが必要です。最初の人は、2番目のスパイダーがかき集めるべきリンクを集めます。彼らはどちらも同じウェブサイト上で動作するので、ドメインは似ています。可能でしょうか?はいの場合は、私に例を挙げることができますか? おかげScrapyのプロジェクトで複数のスパイダーを使用する

答えて

13

たぶん、これはあなたが探しているものです:

def parse(self, response): 
    # parse the links (aka your first spider) 
    for link in hxs('//XPATH'): 
     yield Request(link.extract(), callback=self.parse_link) 

def parse_link(self, response): 
    # continue parsing (aka your second spider) 

希望はあなたが

+1

を:)このヘルプでは、これは実際には、「複数のスパイダー」という質問に答えていません。これは、複数のスパイダーの使用に取って代わる共通のハックです。より完全な答えがあれば、良いことがあります。 –

関連する問題