スパークS3完全なマルチパートアップロードのエラー

Question

私は、データ処理のためのApacheのスパークを使用していますし、S3にアップロードするとき、私は時折、ログに次のエラーを参照してください。

AmazonClientException：どの部分を言われずに暗号化されたマルチパートアップロードを完了することができません最後でした

sparkにはタスクの失敗が再試行されるため、ほとんどの場合OKです。しかし、再試行でジョブが失敗すると問題が発生しました。再試行の他にもこのようなエラーを処理する良い方法はありますか？

ありがとうございました

Answer 1

これは興味深いです。このメッセージは表示されず、現在S3A Hadoopクライアントの開発者の大部分を調整しています。

これはAmazon EMRまたは公式の自己完結型ASFリリースでですか？

前者の場合は、フォーラムとASFサポート契約を交わしてください。

後者の場合：HADOOPプロジェクト（hadoop共通）の下でissues.apache.orgにJIRAを作成し、コンポーネントfs/s3をリストし、spark CPにhadoop JARの正確なバージョンを宣言し、フルスタックを含めますトレース。