問題が発生しました。デフォルトのゾーンがグローバルに実行されているので、コードをDataProcPigOperatorで作成しますが、asia-easth1コードではクラスタ内の定義領域を変更します。DataProcPigOperatorはグローバル領域を実行するデフォルトジョブであるため実行されません。任意の解決策.. ??気流でDataProcPigOperatorの領域とゾーン(Google Cloud Platform)を設定する方法
t1 = DataProcPigOperator(
task_id='abc',
dataproc_cluster='abc-cluster-{{ ds_nodash }}',
gcp_conn_id='abc_gcp_connection',
query_uri='gs://abc/abc-ng/abc.pig',
variables={'INPUT': 'gs://abc/abc-ng/summary/*', 'OUTPUT': 'gs://abc/abc-ng/output/'},
dag=dag
)
DataProcPigOperatorで領域とゾーンを設定する方法は?
ありがとうございました。これを起動するための
DataProcPigOperator貢献のために、私はそれを使用していないが、それ他のGCPオペレータと比較してその地域が不足しているようです:https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/dataproc_operator.py#L526、チケットを作成することができます。 – Chengzhi
okありがとう@Chengzhi – RJK