レデューサーが失敗する

私たちは3つのクラスターマシンを使用しています。mapreduce.tasktracker.reduce.tasks.maximumプロパティーは9に設定されています。レデューサーが9以下の場合、ジョブは成功しますが、 9の場合、「タスク試行_201701270751_0001_r_000000_0はTTを60秒間pingできませんでした。誰にでも問題のあることを教えてもらえますかレデューサーが失敗する

出典

2017-02-27 wazza

は、あなたが行くと失敗している減速のログを見ると、スタックエラーを提供してもらえ（0はタイムアウトが無効になります）。このエラーの原因を突き止めるのに非常に役立つでしょうか。 – dbustosp

これ以外のエラーログはありません2017-01-20 08：16：37,536 INFO mapred.TaskTracker [main]：タスクattempt_201612080512_0140_r_000003_1はTTを60秒間pingできませんでした。殺す！ 2017-01-20 08：16：37,536 INFO mapred.TaskTracker [main]：タスクのパージについて：try_201612080512_0140_r_000003_1 – wazza

レデューサーコードを追加すると、コンテキストに書き込まず、レデューサーがアクティブにならない場合があります – AdamSkywalker

hadoop -0.20にバグがあるようです。

https://issues.apache.org/jira/browse/MAPREDUCE-1905（参考用）

タスクタイムアウトを増やしてください。

（より高い値にmapreduce.task.timeout）

出典

2017-02-27 13:08:51

レデューサーが失敗する

答えて

関連する問題