あるスパイダーから別のスパイダーに擦ったURLを渡す

Question

あるスパイダーのスクラップしたURLを別のスパイダーのstart_urlsに送るにはどうすればいいですか？

具体的には、XMLページからURLのリストを取得するスパイダーを1つ実行します。 URLを取得した後、別のスパイダーが掻き集めるために使用します。

from scrapy.spiders import SitemapSpider 

class Daily(SitemapSpider): 
    name = 'daily' 
    sitemap_urls = ['http://example.com/sitemap.xml'] 

    def parse(self, response): 
     print response.url 

     # How do I send these URL's to another spider instead? 

     yield { 
      'url': response.url 
     } 

Answer 1

ファイルにURLを文字列として書き込みます。他のスパイダーの同じファイルからそれらを読んでください。

Answer 2

なぜあなたはそのようなrequirmentのために異なるスパイダーを使いたいのですか？

スパイダーが1つしかない場合は、別のスパイダーにURLを渡すのではなく、parseメソッドでyieldもう1つRequestとします。あなたには、いくつかのDBにURLを保存したり、パイプラインを経由して、たとえば、いくつかのキュー（Zerro、ラビットMQ、Redisの）に送ることができる最初のクモから

from scrapy.spiders import SitemapSpider 

class Daily(SitemapSpider): 
    name = 'daily' 
    sitemap_urls = ['http://example.com/sitemap.xml'] 

    def parse(self, response): 

     yield Request(url="URL here", callback=callback_function) 

Answer 3

。

第二クモはメソッドでURLを取得することができます - start_requests

class MySpider(scrapy.Spider): 
    name = 'myspider' 

    def start_requests(self): 
     urls = my_db.orm.get('urls'); 
     for url in urls: 
      yield scrapy.Request(url) 

やURLはcliまたはAPIを経由してキューブローカーからクモに渡すことができます。またはスパイダーはブローカーから起動され、スパイダーはstart_requestsによって自分のURLを取得することができます。

あなたは本当にそれを行うことができます多くの方法が存在します。方法は、あなたが1つのスパイダーから他のスパイダーにURLを渡す必要がある理由の基準に依存します。

このプロジェクトを確認することができます：Scrapy-Cluster、Scrapy-Redisあなたが探しているものかもしれません。