airflow

4熱

1答えて

エアフローjinja2テンプレート用のカスタムフィルタを追加しようとしています。： S3の私のフォルダが /年/月/日/ のようなものですので、私の目的は、変数にyesterday_dsを使用することですが、このような画面s3：//logs.web.com/AWSLogs/ {{yesterday_ds | get_year}}/{{yesterday_ds | get_month}}/{{ye

1熱

2答えて

気流：PostgreOperatorからxcom値をプッシュするには？

私はAirflow 1.8.1を使用しており、PostgreOperatorからのSQLリクエストの結果をプッシュしたいと思います。ここでは私の仕事です： check_task = PostgresOperator( task_id='check_task', postgres_conn_id='conx', sql="check_task.sql", xc

0熱

2答えて

エアフローは、タスクを実行せずに「バックフィル完了」を返します。

私はエアフローを実行しており、コマンドラインからビルドしているタスクを繰り返し実行しようとしています。エアフローWebサーバーを実行すると、すべて正常に動作します。しかし、私はairflow backfill dag task '2017-08-12'、空気の流れが戻る実行すると： [2017-08-15 02:52:55,639] {__init__.py:57} INFO - Using e

2熱

1答えて

エアフロー：動的サブダッグの作成

私はクライアントのリストを持っているユースケースを持っています。クライアントはリストに追加または削除することができ、開始日や開始パラメータが異なることがあります。エアフローを使用して、最初の開始日と何かが失敗した場合の再実行に基づいて、各クライアントのすべてのデータをバックフィルします。私は各クライアントのSubDagを作成することを考えています。これは私の問題に対処しますか？どのように私は動

2熱

1答えて

気流airflow_homeディレクトリ内のディレクトリに名前のないモジュール

私はvirtualenvで作業しています。私はDAGフォルダ内のパッケージを使用しようとしています。 airflow_homeディレクトリの現在の状態は次のとおりです。私はこのスクリプトを手動で実行することができれば from datetime import datetime from airflow import DAG from airflow.operators.dummy_operat

6熱

2答えて

エアフローでRスクリプトを実行していますか？

Rスクリプトをエアフローダグとして実行することはできますか？私はこれに関する文書をオンラインで探してみましたが、そうすることはできません。ありがとう

2熱

2答えて

AirflowのXComs経由でPythonOperatorからHttpSensorにパラメータを渡すには？

依存するPython呼び出し可能関数の結果に依存するパラメータを持つHTTPリクエストを送信します。私はこの目的のためにXComsを使用しようとしています。簡単な例： def get_index(): return 0 get_index = PythonOperator( task_id='get_index', python_callable=get_index

0熱

1答えて

気流とsystemd： `airflow.pid`と` airflow-monitor.pid`

私のsystemdユニットファイルが動作しています（下記）。しかし、airflow-monitor.pidファイルは一時的に読み取り専用になり、時には空気の流れが妨げられることがあります。この問題が発生した場合は、airflow-monitor.pidを削除してください。これはairflow.pidと同じファイルではありません。 airflow.pidはgunicorn、airflow-moni

-1熱

1答えて

気流：ユーザーがldapでログインする

気流から現在のユーザーをどのように得ることができるか知っていますか？我々は私たちのバックエンドをairflow/contrib/auth/backends/ldap_auth.pyに有効にしているので、ユーザーはその認証を介してログインし、何かをクリックする現在のユーザーを取得する方法（私たちはプラグインとして持っているカスタムビュー）を知りたい。

2熱

1答えて

エアフローで--confオプションを使用するには

エアフローDAGを実行しようとしており、タスクのパラメータを渡す必要があります。 Python DAGファイルのコマンドラインtrigger_dagコマンドで、--confパラメータとして渡されたJSON文字列を読み取るにはどうすればよいですか。例：airflow trigger_dag 'dag_name' -r 'run_id' --conf '{"key":"value"}'