0
からクラウドデータフロージョブがハングします。クラウドデータフローTQハンドシェイクエラーのBQ出力ジョブが
パイプライン:労働者から
Pipeline p = Pipeline.create(options);
p.apply(TextIO.Read.named("ReadFiles").from(options.getInputFile()).withCompressionType(CompressionType.GZIP))
.apply(new ProcessRecords(eventType))
.apply(BigQueryIO.Write.to(options.getOutput()).withSchema(options.getBigQuerySchema())
.withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_NEVER)
.withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE));
p.run();
は、私が見ることができるすべては、それが正常に動作します
Kubelet is healthy?: true
TLS handshake error from 172.17.0.2:41759: EOF
shutdown[7231]: shutting down for system halt
GCSにI出力をファイル同じ仕事で記録します。
ジョブID:2016-12-28_15_23_54-4009520083656203603
私は、この複数回が、毎回その同じ問題を試してみました。
なぜジョブがハングアップすると思いますか?ログを調べたところ、ユーザーがキャンセルしたときにBigQueryにデータをインポートするのに数分かかったようです。それが完了するまでもっと長く待ってみましたか? – jkff
「シャットダウン」は正常です。リソースを浪費しないように、BigQueryインポートジョブの実行中にDataflowがワーカーをシャットダウンします。 – jkff
@jktf私は5〜10分のようにw8してからキャンセルしました。私はw8長くする必要がありますか?もう一度実行します – Atrix1987