0

問題が発生しました。デフォルトのゾーンがグローバルに実行されているので、コードをDataProcPigOperatorで作成しますが、asia-easth1コードではクラスタ内の定義領域を変更します。DataProcPigOperatorはグローバル領域を実行するデフォルトジョブであるため実行されません。任意の解決策.. ??気流でDataProcPigOperatorの領域とゾーン(Google Cloud Platform)を設定する方法

t1 = DataProcPigOperator(
     task_id='abc', 
     dataproc_cluster='abc-cluster-{{ ds_nodash }}', 
     gcp_conn_id='abc_gcp_connection', 
     query_uri='gs://abc/abc-ng/abc.pig', 
     variables={'INPUT': 'gs://abc/abc-ng/summary/*', 'OUTPUT': 'gs://abc/abc-ng/output/'}, 
     dag=dag 
    ) 

DataProcPigOperatorで領域とゾーンを設定する方法は?

ありがとうございました。これを起動するための

+1

DataProcPigOperator貢献のために、私はそれを使用していないが、それ他のGCPオペレータと比較してその地域が不足しているようです:https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/dataproc_operator.py#L526、チケットを作成することができます。 – Chengzhi

+0

okありがとう@Chengzhi – RJK

答えて

関連する問題