airflow-scheduler

0熱

1答えて

実行中のインスタンスのすべてのタスクが完了するまで、別のインスタンスがインスタンス化されないようにマルチオペレータ・ダグを設定する方法はありますか？

エアフローの実装には、複数オペレータダグがあります。は、DAG-aはオペレータT1、T2、順次実行するように設定されているT3持って言うこと（すなわち。t2はT1に依存している、とt3をt2に依存している。） task_2.set_upstream(task_1) task_3.set_upstream(task_2) 私たちは、ときのことを保証する必要があります（。または次のダグ・インス

0熱

1答えて

定期的に実行しないでください気流DAG /タスクを定義する方法

目標は非常に簡単です。定期的に実行するべきではなく、管理者が「実行」ボタンを押したときにのみ実行する手動タスクのDAGを作成する必要があります。理想的には、DAGを「一時停止」と「一時停止」に切り替える必要はありません（一時停止することを忘れないでください）。これまでのところ、私はschedule_interval="0 0 30 2 *"（2月30日にはうまくいきませんでした）と来ましたが、よ

2熱

1答えて

エアフローで--confオプションを使用するには

エアフローDAGを実行しようとしており、タスクのパラメータを渡す必要があります。 Python DAGファイルのコマンドラインtrigger_dagコマンドで、--confパラメータとして渡されたJSON文字列を読み取るにはどうすればよいですか。例：airflow trigger_dag 'dag_name' -r 'run_id' --conf '{"key":"value"}'

0熱

2答えて

Apache Airflow Distributed Processing

Apache Airflowを使用したアーキテクチャでは、私の考えが混乱します。私が知っている場合 oozieでhqlまたはsqoop文を実行すると、oozieは要求をデータ・ノードに送ります。私はApache Airflowで同じことを達成したいと思います。私は、シェルスクリプト、hqlまたはsqoopコマンドを実行したい、私は私のコマンドがデータノードによって分散して実行されていることを確

0熱

1答えて

Apache Airflow Multi Tenant

マルチテナント環境でAirflowがどのように機能するかを試しています。特に、要件は次のようになります。 TeamAとTeamBの2つのチームは、1つのAirflowインスタンスを使用しています。チームのAとBにはそれぞれ独自のサービスユーザーアカウントserviceUserAとServiceUserBがあり、それらのユーザーがジョブを実行する必要があります。セキュリティ上の理由から、チームA

1熱

2答えて

？

は、私はこのような、simplehttpoperatorをトリガーにしたい：気流trigger_dag test_trigger --conf '{ "名"： "何か"}' は iがkwargsから[ 'dag_run' を使用してパラメータを受け入れるためにpythonoperatorのpython_callableを使用します] .confの、と私は[「dag_run」]を渡したい。simp

0熱

1答えて

エアフローDAGがスケジュールされていない

エアフローが初めてで、最初のDAGが作成されました。ここに私のDAGコードがあります。私はDAGを開始し、その後は1日に1回実行します。 from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta defau

2熱

2答えて

Apache Airflow Celery Redis DecodeError

最新バージョンのApache airflowを使用しています。 LocalExecutorで始まった。そのモードでは、CeleryExecutorがそれらを使用するために必要だったウェブUIの状態をいくつかのやりとりで除いて、すべてうまくいっていた。 RedisでCeleryエグゼキュータをインストールおよび設定し、RedisをブローカURLおよび結果バックエンドとして設定しました。タスクは、そ

0熱

1答えて

Airflowでの展開の仕組みは？

私はセラーリーエグゼキュータを使用しています。この設定はdockerfileです。ダグを/usr/local/airflow/dagsディレクトリにスケジューラのコンテナに展開しています。私はコマンドを使用して、私のDAGを実行することができるよ： $ docker exec airflow_webserver_1 airflow backfill mydag -s 2016-01-01 -e

1熱

2答えて

気流：PostgreOperatorからxcom値をプッシュするには？

私はAirflow 1.8.1を使用しており、PostgreOperatorからのSQLリクエストの結果をプッシュしたいと思います。ここでは私の仕事です： check_task = PostgresOperator( task_id='check_task', postgres_conn_id='conx', sql="check_task.sql", xc