4
Mapper/Reducerで例外を処理するためのベストプラクティスを理解したい。MapperまたはReducerで例外を処理するためのHadoopのベストプラクティスは何ですか?
オプション1:try/catchを実行せずにタスクを失敗させると、MRはタスクを最終的に終了するタスクを再試行します。プロパティmapreduce.map/reduce.maxattemptsはここで役割を果たします。
オプション2:カウンタを使用して、catchブロックの失敗数を記録します。これらのエラーのしきい値に基づいて、ジョブを強制終了するか、カウンターを使用して失敗したレコードの数を表示します。
map-reduceで例外を処理するための共通の/標準のプラクティスはありますか?