airflow

2熱

1答えて

私は毎日実行するようにスケジュールされた3つのbashタスクを持つDAGを持っています。すべてのbashスクリプトで、dagインスタンス（PIDの可能性あり）の一意のIDにアクセスしたいと考えています。これを行う方法はありますか？私はワークフローxmlまたはjavaコードでWORKFLOW_IDにアクセスできるOozieと同様の機能を探しています。巴里

12熱

1答えて

AirflowでsubDAGはどのくらい正確に機能しますか？サブDAGを有効にするとはどういう意味ですか？

私はAirflow subDAGセクションを見て、役立つと思われるものをオンラインで見つけようとしましたが、subDAGを作成する方法を詳しく説明したものは見つかりませんでした。サブDAGを実行するための要件の1つは、有効にする必要があることです。サブダッグをどのように有効/無効にしますか？気流のエラーを表示しないサンプルコードを書きましたが、実行しようとすると、subDAGの演算子は実行されま

1熱

1答えて

エアフローで正しい所有者タスクを使用する方法を教えてください。

気流の「所有者」はわかりません。 owerのコメントは "unix usernameを使用することをお勧めします"というタスクの所有者です。次のコードを書きました。 Default_args = { 'owner': 'max', 'depends_on_past': False, 'start_date': datetime(2016, 7, 14), 'email': ['[emai

6熱

1答えて

気流パラメータを従属タスクに渡す

気流の従属タスクにパラメータを渡す方法は何ですか？私は多くのbashesファイルを持っており、私はこの手法をエアフローに移行しようとしていますが、タスク間でいくつかのプロパティを渡す方法はわかりません。これは実際の例です：私はT1で作成したディレクトリ名にアクセスする必要がT2には #sqoop bash template sqoop_template = """ sqoop jo

0熱

2答えて

AIRFLOWのシェルオーナーではなく「オーナー」のタスクをどのように実行するのですか

私のタスクコードは次のとおりです。 from airflow.models import DAG from airflow.operators import BashOperator from datetime import datetime, timedelta rootdir = "/tmp/airflow" default_args = { 'owner': 'max',

3熱

2答えて

気流pythonクライアント

私たちはいくつかのアプリケーションを実行しており、気流の使用を開始したいと考えています。ドキュメントからは、DAGを起動する唯一の方法はコマンドライン上にあるようです。これは本当ですか？たとえば、フラスコサーバーが動作しており、気流によって制御されたワークフローを開始したいとします。どうすればこれを達成できますか？たとえば、トリガーするAPIはありますか：「DAGをパラメータx、y、hで実行する

4熱

2答えて

エアフローDAGごとに異なるエグゼキュータを設定できますか？

既存のAirflowサーバーに別のDAGを追加しようとしています。サーバーは現在LocalExecutorを使用していますが、DAGにCeleryExecutorを使用させたい場合があります。これは、設定ファイルのように思えるairflow.cfgのみ可能にするものでエグゼキュータ： # The executor class that airflow should use. Choices inc

0熱

1答えて

AirflowのエグゼキュータをLocalExecutorからCeleryExecutorにアップグレードするタイミングは？

現在、LocalExecutorを使用して複数のエアフローDAGを実行していますが、正常に動作しています。私のサーバーにはたくさんのリソースがあります。私は大きなプロジェクトのために新しいDAGを追加しようとしており、LocalExecutorからCeleryExecutorに切り替えることを検討しています。私の質問は、CeleryExecutorに切り替えるべき兆候は何ですか？スケールアウトを

1熱

1答えて

エアフローが最新の実行に戻ってこない

何らかの理由で、エアフローが週単位のスケジュール間隔でダグの最新の実行をトリガしていないようです。現在の日付： $ date $ Tue Aug 9 17:09:55 UTC 2016 DAG： from datetime import datetime from datetime import timedelta from airflow import DAG from airf

14熱

2答えて

気流initdb、ImportError：名前をインポートできませんHiveOperator

私は最近ワークフローにairflowをインストールしました。私のプロジェクトを作成している間、私は、以下のコマンドを実行し、次のエラーが返さ airflow initdb ： [2016-08-15 11:17:00,314] {__init__.py:36} INFO - Using executor SequentialExecutor DB: sqlite:////Users/mikh