airflow

5熱

1答えて

大量のDAGを構成するためのベストプラクティスが何であるか気になるところが気になります。私たちのETLについては、論理的なグループに分類される多くのタスクがありますが、グループは互いに依存しています。次のうちどれがベストプラクティスと見なされますか？、そのファイル内のすべてのタスクを持つ大規模なDAGファイル、複数のファイル間でDAGの定義（これを行うには？）は、タスクのグループごとに1つずつ

2熱

1答えて

気流DAGの実行並行性を変更DAG

特定の気流DAGのdag_concurrencyパラメータを変更したいと思います。 airflow.cfgにはグローバルdag_concurrencyというパラメータがあるようですが、DAGごとに異なる値を設定することはできますか？私はDAGコードで同時実行性パラメータを追加しようとしましたが、DAGの詳細に並行性値が引き続き標準パラメータ（16）を示しています。 from airflow im

0熱

1答えて

気流：他のDAGが失敗した場合でもタスクt4を実行中：t1 >> t2 >> t3 >> t4

「trigger_rule」オプションを使用しようとしましたが、成功しませんでした。問題は、t2が失敗したとき（目的）にタスクt3が実行されないため、t4に "trigger_rule = 'all_done'"を設定しても機能しないということです。

4熱

1答えて

気流とドッキング用コンテナ

コンテナAWS ECS、1台のスケジューラ、2台のWebサーバ、複数のセロリの作業者でエアフローを実行しています。コンテナで実行するときに唯一影響を受けるのは、Webサーバーが8793のワーカーのポートにアクセスできず、ワーカーからログを取得できないことです。これはコンテナでこれらを実行するときに影響を受けるのはその唯一のものですか？

0熱

1答えて

エアフロー：次のタスクに情報を渡す（センサー）

（私はthis questionの承知していますが、それは十分に私が更新答えがあることを期待して、今求めている古いです。）私はプラグインを書いていますAWS Batch for Airflowを使用して、ジョブがAWSBatchOperatorオペレータ経由でBatchに送信された後、ジョブが完了してAirflowに通知する方法が必要です。私はそれを処理する適切な方法であると思われるので、私はそ

2熱

1答えて

気流 - すべてのアップストリームタスクステータスがわかっていて、そのうちの少なくとも1つが成功した後にのみタスクを起動させる方法

以下のような要件がありますが、trigger_ruleオプションのどれもが配信できないようです期待される行動。タスクDにU1とU2という2つのアップストリームタスクがあり、U1が1秒、U2が100秒かかるとします。タスクDは、U1とU2の両方が正常に実行された後、または1つが正常に実行されたが、もう1つがスキップされた後にのみ起動されます。より正確に、Dがトリガされるべきであるシナリオの例は

0熱

1答えて

Spring Cloud DataFlow - タスク実行後に実行IDを取得

現在、私はワークフローと実行時環境としてSpring XDからSpring Cloud DataFlowとApache Airflowに移行しています。 Airflowでワークフローを作成し、カスタムAirflow演算子を使用してSpring Cloud DataFlowサーバー上でSpring Cloud TasksをREST-APIで実行したいとします。それは使用可能です： curl -X

3熱

1答えて

平日に実行するエアフローをスケジュールする

エアフローダグを平日のみに実行するようにスケジュールする正しい方法は何ですか？私はstart_dateとschedule_interval式の両方で時間オフセットを含めてみましたが、それでも希望の時刻に開始していません。（私はそれが午前1時のUTCで1月28日スタート、土曜火曜日から、その時点で実行したい。） default_args = { 'owner': 'me', '

2熱

2答えて

Apache AirflowでDB2/DashDB JDBC接続を設定できません。

Airflow UIを使用してDB2/DashDB接続を作成しようとしています。私はdb2jcc4.jarドライバーを追加し、クラス名と同様にクラス名com.ibm.db2.jcc.DB2Driver.classを提供しました。私はアドホックUIで簡単なクエリを実行しようとしましたが、同じエラー java.lang.RuntimeException：誰が前にセットアップするApacheのエアフロ

2熱

2答えて

気流XCOM KeyError： 'task_instance'

実行中の最初のタスクからデータを取得するためにXCOMを使用する動的シーケンスetlジョブをセットアップしようとしています。ここでは、現在のコードは次のようになります。それは私が行方不明です小さな何か、または私はすべてを持っている場合場合 Traceback (most recent call last): File "/usr/local/lib/python2.7/site-pack