airflow

1熱

1答えて

複数のカテゴリの並列ベースでDAG（Airflow）を実行/インスタンス化する方法は？例えば：ラン：私は（paralletに）異なるBatchnames上で並列的に実行するDAGをスケジュールする方法を定期的で実行気流（DAG）を有しますbatch1ためDAG（引数でバッチ名を渡す）はと並列に実行する必要があり（引数でバッチ名を渡す）BATCH2ためのDAGを実行します。。。上

0熱

1答えて

気流xcom_pullフレームが終了する前にピクルスが枯渇しました

前回xcom_pushされたのHTTPレスポンスでxcom_pullを実行していて、pickle exhausted before end of frameを受け取りました。 http応答が短い辞書になると、私はこのエラーを受け取りません。これはxcom_pull/push'edの制限事項ですか？

0熱

1答えて

Airflow - BashOperator：「DAG実行がDAGのデッドロックになっています：..」エラー

気流ワークフロースケジューラが本当に好きですが、単純なDAGを実行中にエラーが発生しました： "{jobs.py:538} DAG：TEST_SCHEDULER_DAG "に対してデッドロックされています。これは新しいエアフローインストール（v1.7.1.3）で、他のスケジュール済みのdagファイルを正常に実行できました。私の環境はLinux（ubuntu 16.04）、python 2.7.1

0熱

2答えて

気流でSSHを実行してPythonOperatorを実行する方法

気流を使ってサーバにsshしてPythonOperatorを実行する方法はありますか？私はSSHExecuteOperatorのようなものを探していますが、bashコマンドを実行する代わりにpython呼び出し可能関数を実行します。

2熱

1答えて

Apache Airflowのインストール後のエラー

pip install airflowコマンドを使用してApacheエアフローをインストールしました。 airflowと入力してエアフローにアクセスしようとすると、以下のエラーが表示されます。 `Traceback (most recent call last): File "/usr/bin/airflow", line 4, in <module> from airflow

2熱

3答えて

エアフロースケジューラは、前日のサイクルを最初に終了してから次のサイクルを開始することはできますか？

今、DAG内のノードは、そのDAGの残りのノードが終了する前に、翌日のタスクに進みます。翌日のDAGサイクルに移行する前にDAGの残りの部分が終了するのを待つ方法はありますか？ O l V O -> O -> O -> O -> O また、 tree view pic of the dag

2熱

1答えて

リトライのためにタスクが起動しているときにエアフローDAGが失敗する

DAGのデフォルトの引数では、retryとretry_delayのパラメータを設定しました。 UIを監視すると、タスクが失敗すると状態が「再試行」に変更されますが、DAG状態は「FAILED」に設定され、キューに入れられた状態になってしまいます（再試行する必要があります）。。この状況では、失敗したタスクが再試行されているため、ダグルンは「実行中」の状態に留まらないでください。私は、ドキュメンテ

1熱

2答えて

日付がないエアフローの例

airflowを初めて使用しています。私はダッグを実行しようとしているし、スケジューリングをしたくない。私はコマンドライン引数でパイプラインを実行し、現在の出力すべてを無効にしたいと考えています。私は開始日がなく、スケジューリングもタイミングも、リトライロジックもありません。開始するには、一連の関数を順番に実行したいだけです。ドキュメントには常に日付が含まれています。 airflow test

0熱

2答えて

気流スケジューラが1つの間隔で遅いです

1つの間隔で遅い2つのスケジュールがあります。私の構成は次のようになります args = { 'owner' : 'test', 'start_date' : datetime.now(), 'email' : ['[email protected]'], 'email_on_failure': True, 'email_on_retry' : T

3熱

2答えて

エアフローで動的な開始日を使用することをお勧めしないのはなぜですか？

私は"What's the deal with start_date?"に関するAirflowのよくある質問を読んだことがありますが、なぜ動的な使用を推奨しないのかは分かりません。start_date私の理解へは、DAGのexecution_dateは、DAGのすべてのタスク間の最小start_dateによって決定され、その後のDAGの実行には、最新のexecution_date + sched