airflow

0熱

2答えて

この質問に関連する元のコードはhereです。私はDAGで定義したタスクループの中で、ビットシフト演算子とset_upstream/set_downstreamのメソッドがうまく動作しています。次のようにDAGのメイン実行ループが設定されている場合： for uid in dash_workers.get_id_creds(): clear_tables.set_downstream(i

2熱

2答えて

エアフローのクイックスタートが機能しない

こんにちは、エアフローの使用を開始しましたが、クイックスタートのタスクを実行できません。airflow run example_bash_operator runme_0 2015-01-01。私はちょうどpython 2.7.6でcondha環境を作成し、airflow==1.8.0をインストールしたairflowからpipをインストールしました。それから私はここに記載されたコマンドを実行した

0熱

1答えて

気流：（ '0.0.0.0'、8080）に接続できません

私はUbuntu 16.04を使用しています。私はpipで気流をインストールしました。次のステップ airflow initdb [2017-07-29 12:20:23,483] {__init__.py:57} INFO - Using executor SequentialExecutor DB: sqlite:////home/milenko/airflow/airflow.db [

11熱

2答えて

気流Pythonユニットテスト？

DAGの単体テストを追加したいのですが、何も見つかりませんでした。 DAGの単体テストのフレームワークはありますか？存在するエンドツーエンドのテストフレームワークはありますが、私は死んでいると思います：https://issues.apache.org/jira/browse/AIRFLOW-79。ありがとう！

0熱

2答えて

気流がDAGの2つの異なるリストを返すのはなぜですか？

コマンドairflow list_dagsを実行すると、DAGのリストが返されます。ただし、DAGのリストは、DAGタブのWebインターフェイスに表示されるDAGのリストとは異なります。 airflow list_dagsコマンドは、チュートリアルのDAGのみを返し、DAGはairflow/dagsディレクトリに返しません。気流によって2つの異なるDAGのリストが表示されるのはなぜですか？私は

0熱

4答えて

エアフローDAGのフルパスを表示するにはどうすればよいですか？

Airflow Webインターフェイスでは、DAGの一覧を表示できます。それらのDAGの1つをクリックすると、DAGのさまざまなビューやDAGのコードが表示されます。詳細タブには、DAGファイルの名前が表示されますが、パスは表示されません。私はまたairflow list-dagsを試しましたが、私が探している情報を提供していません。 Webインターフェイスで見ることのできるDAGがありますが、

0熱

1答えて

エアフローJDBC接続を使用してTeradataに接続

私は、Teradataデータベースへの接続を使用して、エアフロー内でSqlSensorタスクを実行しようとしています。接続は以下のように構成されています私は「」で区切って、特定の2ドライバー・パスに提供していますが、私はそれはそれを行うための適切な方法かどうかわかりませんか？ /home/airflow/java_sample/terajdbc4.jar DAGが実行 /home/airflow

4熱

2答えて

気流作業員を実行中にエラーが発生しました：アドレスはすでに使用中です

CeleryExecutorで気流を実行しています。 airflow webserverとairflow schedulerのコマンドを実行できますが、実行しようとしていますairflow workerはエラーを返します。socket.error：[Errno 98] address already in use。トレースバック：プロセスがすでにworker_log_server_port ai

5熱

1答えて

エアフローの労働者は、私がRabbitMQのブローカー、サービスとエアフローを設定しているのRabbitMQキュー

をデフォルトに聞いていません。スケジューラはdefault RabbitMQのキューで実行するタスクを推進している。でも私はairflow worker -q=defaultを試してみました - 労働者は実行するタスクを受信していません。マイairflow.cfg設定ファイル： [core] # The home folder for airflow, default is ~/airfl

0熱

1答えて

Airflowでの展開の仕組みは？

私はセラーリーエグゼキュータを使用しています。この設定はdockerfileです。ダグを/usr/local/airflow/dagsディレクトリにスケジューラのコンテナに展開しています。私はコマンドを使用して、私のDAGを実行することができるよ： $ docker exec airflow_webserver_1 airflow backfill mydag -s 2016-01-01 -e