2017-12-25 19 views
-1

定期的にクーポンコードのサイトをスクラップして検証し、通知を送信する必要があります。しかし、検証は遅いので、私はそのプロセスが私のアプリの流れを駄目にしたくない。理想的には、スクレーパーは、より多くの結果を出力するために検証が完了するのを待つ必要はありません。Pythonでパイプラインを実装する

私はこのように見えるデータの流れを想像:

SCRAPER --> \_/ <--> VALIDATOR <--> \_/ <--> NOTIFIER 

イン間の各ステージは、中間結果を含むキューです。これは実現可能か?それは意味をなさないでしょうか?ありがとう!

+1

'' 'これは実現可能ですか? '' 'あなたが何を思いつくのか見てみましょう。 – wwii

答えて