別のPythonスクリプトから特定のScrapyスパイダーを呼び出す方法

Question

私はalgorithm.pyというスクリプトを持っています。スクリプト中にScrapyスパイダーを呼びたいと思っています。ファイルscructureは次のとおりです。MySpidersは、いくつかのscrapyプロジェクトを含むフォルダである MySpiders/

algorithm.py

。私はperform_spider1（）、perform_spider2（）...アルゴリズムを呼び出すことができるメソッドを作成したいと思います。

このメソッドを作成するにはどうすればよいですか？

私は、次のコードを使用して1つのスパイダーを呼び出すことができましたが、方法ではなく、1つのスパイダーに対してのみ機能します。私は助けが必要な初心者です！

import sys,os.path 
sys.path.append('path to spider1/spider1') 
from twisted.internet import reactor 
from scrapy.crawler import Crawler 
from scrapy.settings import Settings 
from scrapy import log, signals 
from scrapy.xlib.pydispatch import dispatcher 
from spider1.spiders.spider1_spider import Spider1Spider 

def stop_reactor(): 
    reactor.stop() 

dispatcher.connect(stop_reactor, signal=signals.spider_closed) 

spider = RaListSpider() 
crawler = Crawler(Settings()) 
crawler.configure() 
crawler.crawl(spider) 
crawler.start() 
log.start() 
log.msg('Running reactor...') 
reactor.run() # the script will block here 
log.msg('Reactor stopped.') 

Answer 1

ちょうどあなたのスパイダーを通過し、configure、crawlとstartを呼び出し経由でそれらを設定し、だけにしてlog.start()とreactor.run()を呼び出します。そして、治療は同じプロセスで複数のスパイダーを実行します。

詳細はdocumentationとthis threadを参照してください。

さらに、スパイダーをscrapydで実行することを検討してください。

希望に役立ちます。

Answer 2

alecxeの良いアドバイスに基づいて、ここに解決策があります。

import sys,os.path 
sys.path.append('/path/ra_list/') 
sys.path.append('/path/ra_event/') 
from twisted.internet import reactor 
from scrapy.crawler import Crawler 
from scrapy.settings import Settings 
from scrapy import log, signals 
from scrapy.xlib.pydispatch import dispatcher 
from ra_list.spiders.ra_list_spider import RaListSpider 
from ra_event.spiders.ra_event_spider import RaEventSpider 

spider_count = 0 
number_of_spiders = 2 

def stop_reactor_after_all_spiders(): 
    global spider_count 
    spider_count = spider_count + 1 
    if spider_count == number_of_spiders: 
     reactor.stop() 


dispatcher.connect(stop_reactor_after_all_spiders, signal=signals.spider_closed) 

def crawl_resident_advisor(): 

    global spider_count 
    spider_count = 0 

    crawler = Crawler(Settings()) 
    crawler.configure() 
    crawler.crawl(RaListSpider()) 
    crawler.start() 

    crawler = Crawler(Settings()) 
    crawler.configure() 
    crawler.crawl(RaEventSpider()) 
    crawler.start() 

    log.start() 
    log.msg('Running in reactor...') 
    reactor.run() # the script will block here 
    log.msg('Reactor stopped.')