1
私はspider
という名前のファンクションを持っています。このファンクションの引数は、seed
です。 seed
は、スパイダー機能に送信するURLの名前です。今私の質問は、PythonでBeanstalkcを使用してURLをキューに入れ、ジョブを実行する方法です。Pythonでbeanstalkcを使用してURLをキューに入れてジョブを実行する方法
私はspider
という名前のファンクションを持っています。このファンクションの引数は、seed
です。 seed
は、スパイダー機能に送信するURLの名前です。今私の質問は、PythonでBeanstalkcを使用してURLをキューに入れ、ジョブを実行する方法です。Pythonでbeanstalkcを使用してURLをキューに入れてジョブを実行する方法
tutorialによると、あなたは、必要があるでしょう:
接続:
import beanstalkc
beanstalk = beanstalkc.Connection(host='localhost', port=14711)
使用してジョブを追加します:完了として
job = beanstalk.reserve()
spider(job.body)
マークジョブ:
beanstalk.put('seed url')
を経由して仕事をゲット
job.delete()
仕事= beanstalk.reserve()クモ(job.body) はどこ私は)(印刷job.bodyをしようとすると、それは「印刷しているため をスパイダーするためのURL(または種子)を送信しています説明してくださいすることができますtrue "ではないURL – Srikanth
これはjob.body()なので、job.bodyという属性です。チュートリアルのステップを最初に実行してください。それはあなたに素晴らしいイントロを与えるはずです。 – Damian