2016-12-29 17 views
0

からクラウドデータフロージョブがハングします。クラウドデータフローTQハンドシェイクエラーのBQ出力ジョブが

パイプライン:労働者から

Pipeline p = Pipeline.create(options); 
p.apply(TextIO.Read.named("ReadFiles").from(options.getInputFile()).withCompressionType(CompressionType.GZIP)) 
.apply(new ProcessRecords(eventType)) 
.apply(BigQueryIO.Write.to(options.getOutput()).withSchema(options.getBigQuerySchema()) 
     .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_NEVER) 
     .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE)); 
p.run(); 

は、私が見ることができるすべては、それが正常に動作します

Kubelet is healthy?: true 
TLS handshake error from 172.17.0.2:41759: EOF 
shutdown[7231]: shutting down for system halt 

GCSにI出力をファイル同じ仕事で記録します。

ジョブID:2016-12-28_15_23_54-4009520083656203603

私は、この複数回が、毎回その同じ問題を試してみました。

+1

なぜジョブがハングアップすると思いますか?ログを調べたところ、ユーザーがキャンセルしたときにBigQueryにデータをインポートするのに数分かかったようです。それが完了するまでもっと長く待ってみましたか? – jkff

+0

「シャットダウン」は正常です。リソースを浪費しないように、BigQueryインポートジョブの実行中にDataflowがワーカーをシャットダウンします。 – jkff

+0

@jktf私は5〜10分のようにw8してからキャンセルしました。私はw8長くする必要がありますか?もう一度実行します – Atrix1987

答えて

1

パイプライン構成コードまたはデータフローに問題はありませんでした。 TextIO書き込み操作がBigQueryIO writeより高速です。

「実行中」状態に単純に移動し、処理の速度などを表示しないようにすべての手順に気づいた場合は、何も問題ありません。

ワーカーログを掘ると、TLSハンドシェイクエラーまたはシャットダウンまたはシステムが停止することがあります。それは絶対に正常です。仕事をさらに進めるだけで、それはうまくいくはずです。

関連する問題