airflow

0熱

1答えて

私は数時間研究していますが、確認できません.2017年10月現在、Windowsでエアフローを実行できます。私はPythonのパッケージ "pip install airflow"を使ってインストールしましたが、初期化することはできず、バージョンを見ることもできません。これはWindows上では実行できないと仮定しています。

0熱

1答えて

エアフロー内でダグを手動で実行中エラー

テストフローとバックフィルコマンドで正常に実行されたエアフロー内にDAGを作成しましたが、エアフローUIから手動で実行するとエラーが発生します。私の問題に対する解決策はありますか？ DAGはLocalExecutorで動作します。 UIエアフローでエラーログ： *** Log file isn't local. *** Fetching here: http://:8793/log/test/

0熱

1答えて

気流 - バックフィルで成功したタスクを無視するにはどうすればよいですか？

DAGに新しいタスクを追加しました。バックアップする必要があります。現時点では、airflow backfillを実行すると、すべてのタスク（新しいものと古いもの）が実行され、既に成功している古いタスクは無視したいと考えています。バックフィルで成功状態のタスクをスキップする方法はありますか？

0熱

1答えて

エアフロープラグインのモデルビューが保護されていません

エアフローのカスタムを保護する方法モデルビューはプラグインシステム経由で非認証ユーザーから追加されましたか？私は現在パスワード保護を使用していますが、プラグインによって追加されたページにはログインせずにアクセスすることができます...

1熱

1答えて

気流の従属タスクのパラメータとして文字列のリストを渡します

XComによって1つのタスクから別のタスクに文字列のリストを渡そうとしていますが、プッシュされたリストをリストとして解釈して戻すことはできません。例えば、私はShortCircuitOperatorで実行されるいくつかの機能blahで次の操作を行います。 paths = ['gs://{}/{}'.format(bucket, obj) for obj in my_list] kwargs['

0熱

1答えて

気流ダグのフォルダについて非常に混乱しています

私は気流を非常に新しいです、私は自分のウェブサイトに記載されているものに従ってすべてをセットアップしています。しかし、私は非常に私のダッグのフォルダの場所を把握することは紛らわしい。注：このフォルダ内に** airflow.cfg（/ airflow/dags）を構成するには、2つのファイルがあります。 /airflow/dags ---dag1.py ---dag2.py しかし、私は

1熱

2答えて

すべてのリクエストに対してgunicornワーカーが終了します

私はフレッシュインストールapache-airflow 1.8.2を持ち、Webサーバーを起動し、すべてのWebページ要求に対して終了しました。新しいワーカーが起動するのを待っている間、約30秒間リクエストがハングアップしました。この問題を解決するのに役立つ必要があります。詳細の下に、私はapache-airflow 1.8.2をインストールし、this guideを追ってきました。私はポート

0熱

1答えて

特定の時刻に特定のday_of_monthにエアフローを実行するにはどうすればよいですか？

毎月11時に2回目のエアフローを実行しようとしていますが、私はそうしていません。私の設定は次のとおりです。 schedule_interval='00 11 * * *' が、私はそれは月単位のために動作させることができていないようです:(：私は毎日のようにDAGを実行したときに default_args = { 'owner': 'airflow', 'depends_o

0熱

1答えて

Airflowでキャッチアップジョブの「予定時刻」を取得するにはどうすればよいですか？

エアフローダグを構築するときは、通常、定期的に実行する簡単なスケジュールを指定します。これが最も一般的に使用されると思います。 dag = DAG('my_dag', description='this is what it does', schedule_interval='0 12 * * *', start_date=datetime(2017, 10,

0熱

2答えて

気流 - ダグランの開始時間を取得

気流のダグの実際の開始時間を取得することは可能ですか？開始時間とは、ダグの最初のタスクが実行を開始する正確な時間を意味します。マクロを使用して実行日を取得できます。 trigger_dagを使用してジョブが実行された場合、これは開始時刻と呼ばれますが、ジョブが毎日実行された場合、{{ execution_date }}はyesterdays dateを返します。私はまた、ダグコードの本体にda