airflow

2熱

1答えて

DAG（DAG1）を使用しています。私は、コピーされた各ファイルの別のDAG（DAG2）を開始したいと思います。 DAG1の実行ごとにコピーされるファイルの数が異なるため、本質的にファイルをループしてDAG2を適切なパラメータで呼び出したいと思います。例： with DAG('DAG1', description="copy files over", schedule_i

0熱

1答えて

Airflow webserverでdag_default_viewを変更するには？

気流v1.8では、DAGをクリックすると以前にデフォルトの「グラフ」ビューではなく「ツリー」ビューに移動するUIの変更が導入されました。文書によると、設定でこの行を変更/追加すると、この動作を変更する必要がありますが、私は任意の成功を持っていなかった。 # Default DAG view. Valid values are: # tree, graph, duration, gantt, la

0熱

1答えて

気流：XCOMインセート中のピクル深度再帰

こんにちは私はPythonOperatorを使用してタスクを実行しています。タスクは実際にはうまく動くことができ、返された値は私が期待したものでした（API呼び出しからの大きなXML出力です）。しかし、私はERROR - (builtins.RecursionError) maximum recursion depth exceeded in comparisonを取得しています。私のpython

0熱

1答えて

エアフローtriggerdagrunオペレータがターゲットダグを実行していません

私は2つのダッグを持っています - ダグaとダグb。私はdag aでtriggerdagrun演算子を使用し、triggerdagrun演算子のdag idタスクIDとパラメータを渡しました。 2番目のダグを起動するタスクが正常に実行され、dag bのステータスが実行されています。しかし、ダグbの課題は引き起こされなかった。 dag bのスケジュール間隔はnoneです。誰かがこの問題の解決に手

0熱

1答えて

環境変数の気流設定が動作しない

ENV変数を使用して接続URLを設定しようとしましたが、alchemy_connとbroker_urlなどであらかじめ設定されているamiがあります。 amisはairflow.cfgファイルのプロパティをオーバーライドします。私はPythonコードからも変数にアクセスすることができました。しかし、ariflowを実行中に有効にするにはいないようですが、同様のプロセスを再起動しようとしたがうまく

2熱

2答えて

1か月の特定の時刻を実行するようにダグをスケジュールする方法。つまり一度だけ

私はダグを実行しようとしていますが、これは一度だけ実行する必要があります。だから私はダグの実行間隔を '@ once'にしました。このリンクで述べたようにしかし、私はエラーを取得しています - https://issues.apache.org/jira/browse/AIRFLOW-1400 以下のように今、私は実行の正確な日付を渡すためにしようとしている：：これは、ようなエラーを投げている

1熱

1答えて

エアフローの管理者から変数をアップロードするにはどのようなファイル形式が必要ですか？

エアフローUIを使用してアップロードする変数ファイルを定義しようとしていますが、アップロードするための正しいフォーマットを見つけるのに苦労しています。私がどのように見えるsettings.cfgというファイル作成しました： Missing file or syntax error. ： my_var=test 私はエアフロー管理 - >変数]ダイアログを介してこれをアップロードしようとする

0熱

1答えて

エアフローを使用して、1つのワークフローの別個のタスクを別々のマシンで実行するにはどうすればよいですか？

免責事項：私は（まだ）Airflowのユーザーではなく、今日それについて見つかったばかりで、私のユースケースに合っているかどうかを調査し始めています。私は、複数のタスクの順次（非並列）実行である1つのデータ処理ワークフローを持っています。ただし、一部のタスクは特定のマシンで実行する必要があります。気流でこれを管理できますか？このユースケースのアドバイスされた実装モデルは何でしょうか？ありがとう

1熱

1答えて

エアフローSubDagOperatorデッドロック

私はいくつかのSubDagOperatorsで構成されるDAGが無期限にハングする問題に遭遇しています。セットアップ： CeleryExecutorの使用。この例では、5つのタスクを同時に実行できる1つのワーカーがいるとします。問題に遭遇しているDAGは、複数のSubDagOperatorsを並列に実行します。説明のために、すべてのノードがSubDagOperatorである次のグラフを検討して

0熱

1答えて

UIを使用してAirflowのジョブにパラメータを渡す

UIを使用してAirflowのジョブにパラメータを渡すことはできますか？ AFAIK、DAGの 'params'引数はPythonコードで定義されているため、実行時に変更することはできません。