2016-08-03 4 views
4

既存のAirflowサーバーに別のDAGを追加しようとしています。サーバーは現在LocalExecutorを使用していますが、DAGにCeleryExecutorを使用させたい場合があります。これは、設定ファイルのように思えるairflow.cfgのみ可能にするものでエグゼキュータ:エアフローDAGごとに異なるエグゼキュータを設定できますか?

# The executor class that airflow should use. Choices include 
# SequentialExecutor, LocalExecutor, CeleryExecutor 
executor = LocalExecutor 

それは、既存のDAGがCeleryExecutorまたはカスタムエグゼキュータクラスを使用することができLocalExecutorと私の新しいDAGを継続して使用することができるようなエアフローを設定することは可能ですか?私はこれを行う人々の例を見つけていないし、気流のドキュメントの何にも出くわしていない。

答えて

1

スケジューラはエグゼキュータのインスタンスを1つだけ開始します。

0

DAG内にSubDAGがある場合は、そのSubDagOperatorに特定のエグゼキュータを渡すことができます。たとえば、SequentialExecutorを使用する場合:

bar_subdag = SubDagOperator(
    task_id='bar', 
    subdag=my_subdag('foo', 'bar', default_args), 
    default_args=default_args, 
    dag=foo_dag, 
    executor=SequentialExecutor() 
) 

これは1.8であり、1.9が異なるかどうかはわかりません。

関連する問題