セロリとレディスとレディスとの比較

Question

セロリを使う利点が何であるか理解できません。私はあなたがRedis、RabbitMQなどでCeleryを使うことができることに気が付いていますが、Celeryを前に置くのではなく、メッセージキューサービスのクライアントを直接取得するのはなぜですか？

Answer 1

Celeryを使用する利点は、主にタスク処理コードを記述する必要があり、タスクプロセッサへのタスク配信の処理がCeleryフレームワークによって処理されることです。タスク処理のスケーリングは、並行性の高いセロリのワーカー（処理スレッド/プロセスのほうが多い）を実行するだけで簡単に実行できます。キューにタスクを送信し、キューからタスクを消費するコードを記述する必要はありません。 また、タスクキューのコンシューマを追加/削除する機能も組み込まれています。フレームワークは、タスクの再試行、障害処理、蓄積された結果などをサポートします。タスク処理ロジックのみの実装に集中するのに役立つ多くの機能を備えています。

ちょうどアナロジーのために、map-reduceプログラムをHadoop上で実行することは非常に複雑な作業ではありません。データが小さければ、簡単なPythonスクリプトを書いてmap-reduceロジックを実装することができます。このロジックは、Hadoop map-reduce Jobが同じデータを処理する性能を上回ります。しかし、データが非常に大きいときは、データを複数のマシンに分割する必要があります。複数のプロセスを複数のマシンで実行し、実行を調整する必要があります。複雑さは、マッパーの複数のインスタンスを実行し、複数のマシン間で減速タスクを実行し、入力を収集し、マッパーに入力を分配し、マッパーの出力を適切な減速装置に転送し、進行を監視し、失敗したタスクを再起動し、ジョブの完了を検出することにあります。 しかし、私たちはHadoopを持っているので、分散ジョブを実行する根本的な複雑さにはほとんど気にする必要はありません。同様にセロリーも主にタスク実行ロジックに集中するのに役立ちます。