Python、Cloud - スケジューリング機能を備えたオンラインWebスクレイピングツール

Question

私は次のことを行うpythonを使用してWeb /クラウドアプリケーションを開発する予定です
1. Perl/Pythonのスクラップスクリプトをアップロードして実行します。
2.アップロードされたスクリプトがスケジュールで実行されます。
3.同じスクリプトの複数のインスタンスを異なる入力パラメーターで実行します。
4.スクリプトのパフォーマンスを測定します。
5.標準出力/ログを表示します。

私の要件を満たすことができる技術については、限られた知識しかありません。
ヒント、ポインタ、既存の作品へのアイデア、ライブラリ、オープンソースの実装などが評価されています。

ありがとう、
Rajesh。この情報を保存、アップロード、スクリプトの性能と出力の場合

http://scrapy.org/

（ウェブ・インターフェースを介して、私は仮定）、カスタムWebフロントエンドを記述する必要があります。あなたの仕事のためのベースとして

Answer 1

使用Scrapyあなたがそれを探索することができるデータベースで。このための1つのオプションは、ピラミッドです：

Pythonのクラウド展開では

http://pypi.python.org/pypi/pyramid/

は、Herokuのを参照してください：あなたはこれを生産することができ

http://www.heroku.com/