Hadoopスロースタート設定

Question

Hadoopジョブの "mapred.reduce.slowstart.completed.maps"にはどのような理想的な価値がありますか？適切に設定するためのルールは何ですか？

ありがとうございます！

Answer 1

それはあなたの仕事、クラスタの特性や利用の数によって異なります。

あなたの仕事は、最大マップ容量対必要になりますどのように多くのマップスロット

1. ：あなたは、マップタスク1000年代を生成します仕事を持っている場合合計で10個のマップスロット（ポイントを示す極端なケース）しかない場合、減速機を早期に始動すると、減速しているタスクが実行されなくなる可能性があります。この場合、私はあなたのスロースタートを大きな値（0.999または1.0）に設定します。あなたのマッパーが完成するまでに年齢がかかる場合も同じです - 他の人にレデューサーを使用させてください。

2. あなたのクラスターが比較的軽くロードされている（レデューサースロットに競合がない）場合、マッパーは遅いスタートの値が低いと、仕事を早く完了させるのに役立ちます（他のマップタスクが実行されている間に、マップ出力データがレデューサーに移動されます）。

は、おそらくより