airflow

0熱

2答えて

ブロークンDAG Broken DAG: [/data/airflow/dags/copy_from_Oracle_to_MySQL.py] No module named Oracle_to_MySQL_plugin について気流ショー情報に私がデータ/気流/ DAGを/からDAG copy_from_Oracle_to_MySQL.pyでファイルを移動しようとしました。しかし、空気の流れ

0熱

1答えて

気流jdbcがクラスドライバを見つけることができません

気流でjdbc接続を設定できません。私はエラークラスが見つからないのを受け取り続けます。私の接続は、次のようになります。ここでテストするとき、私は空気の流れで受信エラーです：マイ接続の資格情報がすべて正しいと私はSQLWorkbenchJに接続することができます。また、私はさまざまなredshift jdbcドライバとクラス名を試しました。 /Users/mkleinert/anaconda

0熱

1答えて

Dockerを使用してDC/OSで気流を流す

迷惑メール画像を使用してローカルにDC/OSをセットアップしました.DC/OSを使用してAirflowを含むDockerイメージを実行したいので、エアフローチュートリアル。これはかなりニッチな使用例であり、実際の実装についてはガイドやチャタリングがありません。簡単に言えば、これについてはどうすればいいですか？

0熱

1答えて

nodeJSからAirflow Dagを起動するにはどうすればよいですか？

私はAirFlow DagがSnowflakeテーブルを更新するシナリオを持っています。私たちはNodeJSから私たちのリモートでDagをリモートで起動する必要があります。これが可能かどうか知りたいですか？

0熱

1答えて

スケジューラがジョブをキューに入れない

KubernetesでAirflowをテストしようとしています。スケジューラー、ワーカー、キュー、およびWebサーバーはすべて異なる展開であり、私は自分のタスクを実行するためにセルリーエグゼキュータを使用しています。スケジューラがジョブをキューに入れることができないという事実を除いて、すべてがうまくいきます。気象は、Web UIやCLIから手作業で実行すると、うまくタスクを実行できますが、スケジ

0熱

2答えて

dc/osでdocker-in-dockerを許可していますか？

私は、DC/OS上でAirflowを使用して 'ドッカーラン'ジョブをスケジュールしようとしています。これには、気流を含むドッカーコンテナからドッカーコンテナを開始する能力が必要です。私はOSXでこれを行うことができますが、実行しているだけです： docker run \ -p 8080:8080 \ -v /var/run/docker.sock:/var/run/docke

1熱

1答えて

実行中のDAGが停止/強制終了されたときに実行するタスク

DAGがエアフローUIから停止されたときにタスクを実行するフックはありますか？

0熱

2答えて

エアフローを使用して、終わりのないタスクを実行できますか？

タスク/ダグタイムアウトをNoneに設定し、手動で実行中のトリガをトリガすることによって、終わりのないジョブ（ストリームデータを消費する無条件ループを持つタスク）を定義できますか？気流が決して終わりのない仕事をモニターすることは問題を引き起こすでしょうか？ありがとう

1熱

2答えて

あるオペレータから別のオペレータにデータを渡す方法

私はカスタムエアフローオペレータを作ったが、このオペレータは入力を受け取り、このオペレータの出力はXCOM上にある。私は何を達成したいことは、いくつかの定義された入力をオペレータに呼び出す支店オペレータの内部呼び出し可能なPythonのような出力を解析し、同じ演算子ツリーを呼び出し、別のタスクに解析された出力を渡すことです： CustomOperator_Task1 = CustomOperat

0熱

1答えて

Apache AirflowでDAGの名前を変更する方法

私はETLワークフローの代替ツールとして最後の数日間Airflowを評価しており、AirflowでDAGの名前が変更されたときにいくつかの面白い動作が見つかりました。私は、ファイル内のDAGは dag = DAG('hello_world', description='Simple DAG', schedule_interval='0 12 * * *', start