hadoop mapreduceジョブの入力用gzファイルについて

Question

gzファイルを入力として使用するmapreduceを作成しています。 gzファイルの一部が実際に破損しています。しかし、マッパはそれに気付かず、正常に仕事を終えました。 このようなファイルをhadoopでどのように処理するか尋ねてもよろしいですか？ gunzipを使用してコマンドラインからエラーgzファイルを開くことはできません。 ありがとう〜

Answer 1

Hadoopはマッパーが実行しているノードにgzファイルを転送します。ファイルを解凍して内容を反復処理します。各ファイルは単一のマッパーによって操作されます。

ファイルが壊れていると、マッパーは実際にマッパーを実行することはできません（マッパーが起動したと仮定すると、Hadoopはファイルを解凍しようとします。

setupとcleanup関数には、「空の」ファイルを検出するためのコードが必要な場合があります。このファイルには、空のファイルが含まれています。 'ファイルを使用して、ジョブが実際にデータを処理していないことを示すカウンタを増やすことができます。