scrapy-jsonrpcとScrapyを併用する方法

Question

私のスパイダーを監視するにはscrapy-jsonrpcが必要です。私は、私のScrapyプロジェクトに

JSONRPC_ENABLED=True 
JSONRPC_LOGFILE=None 
JSONRPC_PORT=[6080, 7030] 
JSONRPC_HOST='127.0.0.1' 

をsettings.pyのパラメータを追加したが、私はhttp://localhost:6080/crawlerをポイントすると、それは動作しません。 Webサービスがうまくいかないようですが、どういうことか分かりません。

Answer 1

あなたはScrapy 1.0+を使用していると思います。

scrapy-jsonrpcの現在のドキュメントは不完全です。彼らはインストール手順がありません。

Scrapy 1.0では、Webサービスが組み込みの拡張機能から削除されたため、設定で有効にする必要があります。

例えば、

• （例えばpip install scrapy-jsonrpc）scrapy-JSONRPC
• は、拡張子が宣言しているのインストール：

  あなたがいることを確認します

  EXTENSIONS = { 
      'scrapy_jsonrpc.webservice.WebService': 500, 
  } 
  

  • JSONRPC_ENABLED=True
  • scrapy-JSONRPCのためのあなたの残りの設定は
  （あなたの質問でTHOSは罰金に見えます）