タスクを遅らせずにセロリを正常に再起動する方法

Question

私たちはDjango WebアプリケーションでCeleryを使ってオフラインタスクを管理しています。これらのタスクの中には最大120秒まで実行できます。

コードを変更するたびに、新しいPythonコードをリロードするためにCeleryを再起動する必要があります。私たちの現在の解決策は、SIGTERMをメインのセロリプロセス（kill -s 15 `cat /var/run/celeryd.pid`）に送信し、それが消滅して再起動するまで待つことです（python manage.py celeryd --pidfile=/var/run/celeryd.pid [...]）。

長時間実行されるタスクのため、通常シャットダウンには1〜2分かかります。その間に新しいタスクは処理されず、現在サイトにいるユーザーにはかなりの遅延が発生します。私はCeleryにシャットダウンを指示する方法を探していますが、すぐに新しいタスクを実行するために新しいCeleryインスタンスを起動します。メインプロセスにSIGHUPを送る

• ：はない仕事をしたこと

  物事これは暖かいシャットダウンを行うと、その後、自分自身をリニューアルによって、「再起動」を試みるようにセロリを引き起こしました。古いプロセスが始まる前に新しいプロセスが起動するので、新しいプロセスはERROR: Pidfile (/var/run/celeryd.pid) already exists. Seems we're already running? (PID: 13214)とすぐに終了するので、これは長い時間がかかるだけでなく、動作しません。 （これはセロリ自体のバグのようです;

• メインプロセスにSIGTERMを送信してすぐに新しいインスタンスを起動すると、Pidfileと同じ問題が発生します。
• Pidfileを完全に無効にする：それなしでは、30のセロリプロセスが、ウォームシャットダウンを実行するときにSIGTERMに送信する必要があるメインプロセスであることを知らせる方法がありません。また、メインプロセスがまだ生きているかどうかを確認する信頼できる方法もありません。

Answer 1

カスタムpidファイル名で起動できますか？おそらくタイムスタンプを付けられ、どのPIDを殺すかを知るための鍵を握っていますか？

CELERYD_PID_FILE="/var/run/celery/%n_{timestamp}.pid"

^私は、タイムスタンプ構文を知らないが、多分あなたは何かあなたはそれを見つけることができますか？

その後、古いPIDを強制終了して新しいPIDを起動するために、現在のシステム時間を使用しますか？

Answer 2

celerydには--autoreloadオプションがあります。有効にすると、セロリの作業者（メインプロセス）がセロリモジュールの変更を検出し、すべてのワーカープロセスを再起動します。 SIGHUPシグナルとは対照的に、自動実行は、現在の実行中のタスクが終了すると、各プロセスを独立して再開させます。これは、あるワーカープロセスが再起動している間に残りのプロセスがタスクを実行できることを意味します。

http://celery.readthedocs.org/en/latest/userguide/workers.html#autoreloading

Answer 3

は、私は最近、SIGHUPでのバグを修正しました：https://github.com/celery/celery/pull/662

Answer 4

rm *.pyc 

これは、更新タスクがリロードされます。私は最近、このトリックを発見した、私はちょうど厄介な副作用がないことを願っています。

Answer 5

セラムのウォームシャットダウンにSIGHUP（1）を使用しています。実際にウォーム・シャットダウンが発生するかどうかはわかりません。しかし、SIGINT（2）はウォーム・シャットダウンを引き起こします。 SIGHUPの代わりにSIGINTを試してから、あなたのスクリプトで手動でセロリを起動してください（おそらく）。

Answer 6

少し遅れて、それはがcelerybeat.pidと呼ばれるファイルを削除することによって固定することができます。

私にはが働いています。