2016-03-30 7 views
4

Mapper/Reducerで例外を処理するためのベストプラクティスを理解したい。MapperまたはReducerで例外を処理するためのHadoopのベストプラクティスは何ですか?

オプション1:try/catchを実行せずにタスクを失敗させると、MRはタスクを最終的に終了するタスクを再試行します。プロパティmapreduce.map/reduce.maxattemptsはここで役割を果たします。

オプション2:カウンタを使用して、catchブロックの失敗数を記録します。これらのエラーのしきい値に基づいて、ジョブを強制終了するか、カウンターを使用して失敗したレコードの数を表示します。

map-reduceで例外を処理するための共通の/標準のプラクティスはありますか?

答えて

2

オプション1と2は、私たちのプロジェクトで扱っているいくつかの方法です。 hereをご覧ください。いくつかのオプションがさらにリストされています

関連する問題