airflow

0熱

1答えて

私はAirflowを初めて使用しています。私は私が私のDAGを参照してくださいWebサーバーのインタフェースを使用する場合 from airflow.models import DAG from airflow.operators.python_operator import PythonOperator import datetime DAG = DAG( dag_id='exa

0熱

1答えて

ダグ内の気流の上流のタスクをクリア

私は気流DAGの中にタスクを持っています。 3つの子タスクがあります。残念ながら、この親タスクが成功するケースがありますが、3人の子どものうちの2人が失敗します（子どもの再試行は失敗しません）。（失敗していなくても）再試行する必要があります。私はdagのグラフビューに行き、この親タスクとすべての下流タスク（+再帰的）を 'クリア'します。私はダッグ自体の中でこれを行うことができますか？

0熱

1答えて

気流の中でDAGを実行しているときに "Handling signal：ttou"というメッセージが表示される

サンプルDAGを作成しました。 default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': one_min_ago, 'email': ['[email protected]'], 'email_on_failure': True, 'ema

2熱

1答えて

どちらがApache OozieまたはApache Airflowを選択しますか？比較が必要

私はジョブスケジューラを初めて使い、大きなデータクラスタ上でジョブを実行するために探していました。私は利用可能な選択肢と全く混同していました。 OozieにTWS、Autosysなどの既存のものに比べて多くの制限があることが判明しました。気流と賛否両論の比較ポイントが必要です。あなたのお手伝いをお待ちしております。

2熱

1答えて

空気流DAGを継続的に実行する

空気流DAGをループ内で実行する方法はありますか？サイクルを作成しようとすると（最後のコンポーネントを最後のコンポーネントの上流に接続している）、「DAGでサイクルが検出されました」というエラーが発生しました。一般的に、私は3つのBashOperatorコンポーネント（最後のコンポーネントから最初のコンポーネントへの入出力出力は一切ありません）。ありがとう！

5熱

1答えて

エアフロー - EMRオペレータのタスクインスタンス

エアフローでは、job_flow_idをemr-stepsの1つに渡す必要があるという問題に直面しています。私はオペレータからjob_flow_idを取得することができますが、クラスタに送信するステップを作成するときには、task_instanceの値が正しくありません。 def issue_step(name, args): return [ { "Name"

0熱

1答えて

気流 - depends_on_pastとtrigger_ruleは同じですか？

airflow.models.BaseOperatorにあります。 trueに設定すると成功するために、前のタスクのスケジュールを頼りながら、タスクインスタンスは順次実行されます - ドキュメント depends_on_past（ブール値）によると depends_on_past=Falseとtrigger_rule=u'all_success' ：あなたは、2つのデフォルトのパラメータを持ってい

1熱

2答えて

気流DAGが一度に1日に実行されるようにするにはどうすればよいですか？

DAGを一度に1日実行するように設定したいとします。これをどうすれば実現できますか？私は "depends on past = True"を試しましたが、各タスクが後で実行されることを確認します。私が欲しいのは、もし私がX日から戻ってきたなら、X日のすべてのタスクがX + 1日のDAGの前に実行されるということです。

0熱

1答えて

エアフローCIセットアップダグ

エアフローDAGをgit repoにプッシュし、ジェンキンジョブをWebhookを使用して実行したい場合は、そこから新しいDAGを取得するために何をすればいいですか？ gitリポジトリからdagbagを埋めるユーティリティ/演算子はありますか？そうでない場合、誰かが新しいDAGでdagbagsをどのように設定するのかを教えてください。

0熱

1答えて

Apache Airflow DAGはローカルモジュールをインポートできません

モジュールをApacheのエアフローDAG定義ファイルにインポートする方法はわかりません。これを行うと、同様の設定の宣言タスクをあまり冗長にしないライブラリを作成できるようになります。これは、私が問題を再現していると考えることができる最も簡単な例です。エアフローチュートリアル（https://airflow.apache.org/tutorial.html#recap）を変更してモジュールをイン