airflow

2熱

1答えて

ETL対ワークフロー管理と適用対象は？彼らは同じように使用することはできますか？

私はクライアントのデータパイプラインを設定中です。分析の面で何年も費やしてきましたが、今は実際に生産環境しか持たない小さなお店に取り組んでいます。私たちが最初にやったことは、複製された制作のインスタンスを作成することでしたが、私は、データウェアハウスの考え方の一種を適用して、解析部分を簡単にしたいと考えています。私の質問はどのツールを使用するのですか？また、なぜですか？私はTalened fo

8熱

1答えて

Airbnb AirflowとApache Nifi

AirflowとNifiはワークフローで同じ仕事をしていますか？それぞれのプロ/コンは何ですか？私はいくつかのjsonファイルを読んでそれにカスタムメタデータを追加し、それを処理するKafkaキューに入れる必要があります。私はNifiでそれをすることができました。私はまだ気流に取り組んでいます。私は自分のプロジェクトに最適なワークフローエンジンを選択しようとしていますありがとう！エアフローとA

5熱

1答えて

気流：SSHを実行して別のサーバーからBashOperatorを実行する方法

Airbnbの気流を使って別のサーバーにsshしてBashOperatorを実行する方法はありますか？ Airflowでハイブsqlコマンドを実行しようとしていますが、ハイブシェルを実行するために別のボックスにSSHする必要があります。私のタスクは、次のようになります。 SSHハイブが実行ハイブコマンドにおかげシェル開始サーバー1に！

0熱

1答えて

trigger_dagを使用しているときにエアフローがバックフィルされないようにするにはどうすればよいですか？

外部トリガー（「airflow trigger_dag」コマンドを使用）でのみ実行されるDAGを作成したいとします。しかし、私がこれを行うと、私が望む 'manual_xxx'に加えて、複数の 'scheduled_xxx' DagRunsが表示されます。私はスケジュールされたDAGRunsがbackfillに作成されたと仮定していますか？「manual_xxx」DagRunを作成し、「sche

0熱

1答えて

はImportError：いいえモジュールの名前mako.util走行風

私はここのチュートリアル従うことをしようとしている：http://pythonhosted.org/airflow/tutorial.html をしかし、私はマックを使っている、と私はどのその後、brew経由でのpythonをインストールする必要がありました私はairflowのインストールに使用したpipが付属しています。しかし、それはかなりのいずれかの動作しませんでしたので、私はその後、私はai

5熱

2答えて

エアフローtrigger_dag execution_dateは翌日ですか？

最近、私がテストした気流airflow trigger_dag <my-dag>を実行しているときにexecution_dateで一つの問題を持っていることそんなに。私はexecution_dateたちはhereから初めてで考えるものではないことを学んだ：エアフローがETLのニーズのためのソリューションとして開発されました。 ETLの世界では、通常というデータを集計します。私は 2016年2

0熱

1答えて

HttpIO - データフロー変換での外部リソースの消費

私はPython Dataflow SDKを使用してカスタムSourceを書き込んで、JSONデータをRESTエンドポイントから並列に読み取るようにしています。など。 IDの特定のセットのために、私は、データを取得する必要があるから：私は必要な主要機能は制限&率を監視している https://foo.com/api/results/1 https://foo.com/api/results/2

0熱

2答えて

気流DBセッションが気になる環境を提供していない

気流とPython初心者の方は、私に正しい質問をしても、とにかく尋ねてもわかりません。 CentOSシステムでエアフローを設定しました。リモートMySqlインスタンスをバックエンドとして使用します。私のコードでは、変数の数を取得する必要があり、コードは以下のようになります。 import os from airflow.models import Variable print(os.envi

4熱

2答えて

気流UIを使用してDAG全体を実行

私は気流の初心者です、私たちは3つのタスクを持つDAGを持っています。現在、私たちは個別のタスクを実行するための柔軟性が必要なため、Celery Executorを使用しています。ワークフローをスケジュールする必要はありません。手動のトリガーになるからです。 Airflow UI（oozieと同じ）を使用してワークフロー全体を実行する方法はありますか？一度に1つのタスクを実行するのは苦痛です。

0熱

1答えて

気流は1つのUI内からすべての従属タスクを実行できません

私のDAGには3つのタスクがあり、UIから個々のタスクをトリガーする必要があるためセロリーエグゼキュータを使用しています。私たちが現在直面している問題は、タスク依存関係を設定していますが、UIからDAGのすべてのステップを一度に実行できないことです。コマンドラインから完全なDAGを実行できますが、UI経由で同じDAGを実行する方法はありますか？