airflow

1熱

1答えて

気流を実行するための環境を提供するためのbashを作成していますが、何らかの理由でスクリプトもうまく動作しません。最初にEMRを提供した後でスクリプトを実行すると正常に動作します。しかし、私がカスタムアクティビティで実行するスクリプトを使用しても動作しません。私はsudoのように実行するコマンドを変更しようとしましたが、まだ動作しません。 #!/bin/bash # check for ma

0熱

1答えて

Web-UIでDAGが表示されない

Airflowを初めて使用しています。私はチュートリアルに続き、次のコードを書いています。 from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime, timedelta from models.correctness_p

1熱

1答えて

気流再開は、現在実行中のジョブに影響しますか？

これは普通の質問のようですが、安全なところにいるように、現在実行中のジョブでエアフローサービスを再起動すると、どのような影響がありますか？

0熱

1答えて

気流とcron - スケジューリングは5分を実行しても機能しません

私は気流を言う必要があり、cronを実行すると非常に混乱します。私はちょうど今から5分ごとにcronを開始したい。複雑なダグを作成するのは簡単です。 docに基づいてcronを実行するロジックを解明することはできません。以下のコードを実行するとどうなりますか？これまでに何度も印刷が実行されています。 1 2016-08-26 17:17:01.584360 2 2016-08-26 17:17

3熱

1答えて

unusual_prefix_ *という名前のモジュールがありません。

エアフローのインストールでPython Operator Exampleを実行しようとしました。このインストールでは、同じマシン上にWebサーバー、スケジューラー、ワーカーが配備されており、PytohnOperator以外のすべてのタスクに対して不満なく実行されます。タスクは失敗し、モジュール "unusual_prefix_ *"をインポートできないと不平を言います。*はDAGを含むファイルの名

-1熱

1答えて

Aiflowがプールスロットの制限を超過しています

一定の時間が経過すると、エアフローが特定のプールに対して定義されたスロットの制限を超えました。これは、再起動後に正常に動作し、このための恒久的な解決策を探しています。エアフローバージョン - 1.6.2 ありがとうございます。

0熱

1答えて

時間制限とトリガーを伴うApacheエアフロースケジューリング

セロリーエグゼキュータで気流を使用しています。今、DAG内のBranchOperatorを使用してブランチを選択することを決定するタスクのユーザー対話を開発する予定です。連続ループを実行してデータベース内の値をチェックすることによって動作します。しかし、私はそれが良いアプローチ方法ではないと感じています。これを行うための選択肢はありますか？そして、私はこの交流を最大限に待っています。そうでなけれ

3熱

1答えて

Airbnbエアフロー：pipなしでエアフローをインストールする

エアフローをpipなしでインストールする方法はありますか？ pipがないオフラインコンピュータにAirflowをインストールしようとしています。私はインターネットからパッケージをダウンロードしましたが、pipなしでインストールを実行する方法がわかりません。誰かが 'setup.py'でインストールを実行する方法を知っていますか？ありがとうございました！

0熱

1答えて

動的に作成されたタスク/ダッグがApacheのエアフローで動作しない

@daily間隔のスケジューリングとすべてのワークフローのタスクIDを持つDAGが作成されました。しかし、それは例外として実行されていません。このようにすることは可能ですか？特定のDAGの動的タスクを作成する他の方法はありますか？コマンドラインを使用して特定のタスクインスタンスを一時停止するには？ from __future__ import print_function from builti

3熱

2答えて

エアフロースケジューラをデーモンプロセスとして実行するにはどうすればいいですか？

私はエアフローが初めてです。私はデーモンプロセスとしてエアフロースケジューラを実行しようとしていますが、プロセスは長くは生きていません。私は、スタートスケジューラ用のコマンド次airflow.cfgファイルの「LocalExecutor」を設定し、走ってきた。私は、このコマンドを実行したとき（私はGoogleの計算エンジンを使用してパテを介してサーバにアクセスしています） airflow sche