エアフローを使用して、終わりのないタスクを実行できますか？

Question

タスク/ダグタイムアウトをNoneに設定し、手動で実行中のトリガをトリガすることによって、終わりのないジョブ（ストリームデータを消費する無条件ループを持つタスク）を定義できますか？気流が決して終わりのない仕事をモニターすることは問題を引き起こすでしょうか？ ありがとう

Answer 1

エアフローでこれを実行するにはちょっと奇妙ですが、それは問題だとは思いません。ジョブを実行しているワーカー（CeleryExecutorを前提としています）を再起動すると、タスクが中断され、retriesが設定されていない場合は手動で再度実行する必要があります。 DAGがexecution_timeout=None（デフォルト）に設定されていることも確認してください。

Answer 2

"データが存在する"かどうかを監視するセンサーを使用して、何らかの処理を行うダグをトリガすることができます。これはあなたが望んだものですか？私にお知らせください。