2017-12-28 35 views
0

私が読んで:あなたは内のノードよりも少ない数が少なすぎるタスクを(持っている場合のMapReduceでのMapReduceとHDFSブロックサイズ

地図タスクは、通常その 、一度に一つのブロックを操作しますクラスタ)、あなたのジョブはそうでない場合よりも遅く実行されます

この文は、HDFSブロックサイズについての段落にありますが、その意味を理解していません。 私を助けることができますか?

答えて

0

マッパーの数は、入力スピリットの数に依存し、入力スピリットの数はデフォルトでマップリダクションのブロックサイズの数になります。この場合、ファイルサイズが128 MBの場合、デフォルトでは1つのマッパーが計算に使用されますが、mapred-site.xmlの一部のプロパティーを変更してマッパーの数を増やすことができます。同じ128 MBファイルはより多くのマッパーによって計算され、実行は以前の状況より速くなります。

関連する問題