airflow

-1熱

1答えて

気流を使用してスパークジョブをスケジュールする場合、DAGを「連続して実行」する必要があります.DAGを実行したいだけで、終了すると新しいDAGインスタンスを再度作成します。 1.一つだけDAGインスタンスが同時に実行できるようにし、より頻繁に 2. を見て、それが必要とされる時にキックオフするために別のDAGをお持ちのDAGを実行します。は、私は私の心の中で2つのオプションがあります。誰にで

0熱

2答えて

エアフローDAGを有効化するコマンドラインオプション

エアフローDAGをエアフローサーバーに自動的に展開するための継続的な統合パイプラインがあります。新しいバージョンのDAGが展開されると、その状態はデフォルトでOFFになります。デプロイメントプロセスによって実行されるタスクの一部としてをオンにして、にします。 DAGをオンにできるAirflowにコマンドラインオプションがありますか？ありがとう

0熱

1答えて

気流DAGは、catchup = Falseで指定された時間に実行されません。

気流DAGがありますが、埋め戻すのは実際には意味がありません。気流1.8では、DAGにパラメータcatchup=Falseを与えることができるので、最新のジョブだけが開始されることがわかりました。つまり、DAGを深夜に開始して毎日実行したいと思います。しかし、それが今のことです：DAGは真夜中ではなく即座に始まります。また、すべてのDAG実行をクリアすると、すぐに再開します。 DAGは毎日実行

0熱

2答えて

pipインストール後もCeleryExecutorが定義されていません[セロリー]

ローカルマシンのLocalExecutorからCeleryExecutorに切り替えようとしています。 pip install airflow[celery]を使用して必要なライブラリをインストールする必要があります。私もredisをインストールして実行しています。私は、バックグラウンドで実行されているのRedisとredis://localhost:6379からbroker urlとcelery

3熱

1答えて

エアフローを使用して実装されたワークフロー内のDAGのタスクで非同期イベントを待機する方法はありますか。

Airflowを使用して実装されたワークフローには、タスクA、B、C、およびDが含まれています。ワークフローでイベントCを待機させたいです。気流センサーでは、ある状態をポーリングして状態をチェックし、その状態が真であればワークフロー内の次のタスクがトリガーされます。私の要件はポーリングを避けることです。 Hereエアフローのトリガーとなるrest_apiエンドポイントを作成する気流に関するrest

2熱

1答えて

1つのGoogle Cloud Storage BucketからApache Airflowを使用してファイルをコピーする

問題：Google Cloud Storage Bucketのフォルダ（Bucket1のFolder1など）から別のBucket（Bucket2など）にファイルをコピーしたい。 Google Cloud StorageでファイルをコピーするAirflowオペレーターが見つかりません。

0熱

1答えて

Airflow MsSqlOperatorでmssql_conn_idを使用するには？

私はAirflowワークフローでMsSqlOperatorを使用しようとしていますが、接続文字列を設定する方法を理解できません。私はので、私はmssql_conn_idを定義する必要があるとエラー airflow.exceptions.AirflowException: The conn_id `sa:[email protected]` isn't defined を取得し、接続文字列自体

0熱

2答えて

気流テンプレート内のjson文字列を解析する方法

気流テンプレート内でJSON文字列を解析することはできますか？ REST API経由でジョブを監視するHttpSensorを持っていますが、ジョブIDはというxcom_pushのアップストリームタスクの応答にあります。私は、次のような何かをしたいと思いますが、しかし、このコードは、エラーにjinja2.exceptions.UndefinedError: 'json' is undefined

2熱

1答えて

Apache Airflow「欲張り」DAG実行

状況： DAG（日次ETLプロセス）には20のタスクがあります。一部のタスクは独立しており、ほとんどのタスクは依存関係を持っています。問題：独立したタスクが失敗した場合、空気の流れが全体DAGの実行を停止し、失敗したとして、それをマークします。質問：すべての依存関係が満たされている限り、Airflowが強制的にDAGを実行し続けることは可能でしょうか？このように1つの独立したタスクが失敗し

0熱

1答えて

私は、リモートマシン上に公開された空気の流れにコマンドを送信するにはどうすればよい

私はURLにブラウザを介してアクセスすることができ、リモートマシン上で正常に実行されている気流サービス、持っている：http://airflow.xxx.com は、今私は動的からのDAGをアップロードしたいの別のマシンをairflow.xxx.comのAirFlowに転送し、そのDAGを自動実行します。私は気流の文書を読んだ後：http://airflow.incubator.apache.o