airflow

    -1

    1答えて

    spark-submitスクリプトを使用して手動で実行しているSparkストリーミングジョブがあります。私は毎日実行するようにスケジュールしたい。 Azkaban、Airflow、Oozie、Crontab、Spark-jobserver、Quartz、Luigiのどれが良いですか。 ご了承ください。

    0

    1答えて

    DataProcPySparkOperatorを使用していくつかの操作を実行しています。この演算子は、パラメータとしてクラスタ名を取るだけで、領域を指定するオプションはなく、デフォルトではグローバル領域を持つクラスタを考慮します。グローバル以外の領域とのクラスタの場合 は、次のエラーが発生します。 googleapiclient.errors.HttpError: https://dataproc

    1

    1答えて

    私はデータの前処理ルーチンに特化したクラスと異なるメソッドを実行し、次のDAGを、持っている: from datetime import datetime import os import sys from airflow.models import DAG from airflow.operators.python_operator import PythonOperator im

    0

    2答えて

    Apache Airflowを使用したアーキテクチャでは、私の考えが混乱します。 私が知っている場合 oozieでhqlまたはsqoop文を実行すると、oozieは要求をデータ・ノードに送ります。 私はApache Airflowで同じことを達成したいと思います。私は、シェルスクリプト、hqlまたはsqoopコマンドを実行したい、私は私のコマンドがデータノードによって分散して実行されていることを確

    0

    1答えて

    マルチテナント環境でAirflowがどのように機能するかを試しています。特に、要件は次のようになります。 TeamAとTeamBの2つのチームは、1つのAirflowインスタンスを使用しています。 チームのAとBにはそれぞれ独自のサービスユーザーアカウントserviceUserAとServiceUserBがあり、それらのユーザーがジョブを実行する必要があります。 セキュリティ上の理由から、チームA

    1

    2答えて

    は、私はこのような、simplehttpoperatorをトリガーにしたい: 気流trigger_dag test_trigger --conf '{ "名": "何か"}' は iがkwargsから[ 'dag_run' を使用してパラメータを受け入れるためにpythonoperatorのpython_callableを使用します] .confの、と私は[「dag_run」]を渡したい。simp

    1

    1答えて

    エアフロースクリプトを使用してdataflow jarを実行しようとしています。私はDataFlowJavaOperatorを使用しています。 PARAMジャーでは、私はこのジョブを実行しようとすると、私は {gcp_dataflow_hook.py:108} INFO - Start waiting for DataFlow process to complete. [2017-09-12 1

    1

    1答えて

    LocalSchedulerオプションを使用してEC2インスタンスでエアフローを使用しています。 airflow schedulerとairflow webserverが呼び出されました。すべてが正常に動作しているようです。つまり、「これを10分おきに」'*/10 * * * *'のschedule_intervalにcron文字列を入力した後、ジョブはデフォルトで24時間ごとに実行を継続します。

    0

    1答えて

    エアフローが初めてで、最初のDAGが作成されました。ここに私のDAGコードがあります。私はDAGを開始し、その後は1日に1回実行します。 from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta defau

    2

    1答えて

    DAGを実行しようとすると、実行中の状態になりますが、タスクは実行されません。私は開始日をdatetime.today()に、スケジュール間隔を "* * * * *"に設定しました。手動で実行をトリガーすると、DAGを開始しますが、タスクが原因に実行されません:00::実行日は2017-09-13T00ある 00が、これはタスクの開始日2017-09-13T16前である:20: 30.36326