RabbitMQからのエタを伴うセロリのタスク

Question

私はDjango 1.6、RabbitMQ 3.5.6、celery 3.1.19を使用しています。

30秒ごとに実行され、与えられたetaパラメータで200のタスクを作成する定期的なタスクがあります。私がセロリの作業員を実行した後、RabbitMQでゆっくりキューが作成され、約1200個のタスクが解雇されるのを待っています。次に、セロリのワーカーを再起動し、待機中の1200個のスケジュールされたタスクはすべてRabbitMQから削除されます。私は実行 my_task.apply_async((arg1, arg2), eta=my_object.time_in_future)

このような労働者：私は、タスクを作成する方法

python manage.py celery worker -Q my_tasks_1 -A my_app -l

CELERY_ACKS_LATEは、Djangoの設定でTrueに設定されています。私は何らかの理由を見つけることができませんでした。

別の設定/フラグ/パラメータでワーカーを実行する必要がありますか？何か案が？

Answer 1

私が知っている限り、CeleryはRabbitMQのスケジュールされたキューに依存しません。内部的にETA/Countdownを実装しています。
十分なメッセージを取り出して内部的にスケジュールすることができる十分な労働者がいるようです。
200人の労働者を必要としないことを心に留めてください。プリフェッチ・マルチプライヤーはデフォルト値に設定されているため、必要なものは少なくなります。