Hadoopローカルモード：マッパーとレデューサーの数

Question

MacのHadoopローカルモードでHadoop MRコードのプロトタイプを作成する必要がありますが、そこにはいくつかの問題があります。

特定の質問の1つは、マッパーとレデューサーの数です。基本的には両方のためのものになりますか？ 1より大きい値を指定すると、まったく動作しますか？私はより小さなサンプルを使用するつもりです。

Answer 1

ローカルモードでマッパーとレデューサーの数を指定することはできません。常にシングルスレッドです。同時に、マッパーやレデューサーのパフォーマンスをプロファイルしたい場合は、非常に現実的です。
多くのマッパーとレデューサーを持つことができる最近接モードは、すべてのデーモンが1台のマシン上で実行されているときは疑似分散モードです。
上記の両方は、データの局所性、シャッフルパフォーマンスの問題を考慮しません。私はあなたの開発マシンに本番と同じディスクサブシステムがあるとは期待していません。
ローカルモードでのシングルマッパー/レデューサーのパフォーマンスが低い場合、それを修正することができます。それがうまくいく場合は、クラスタを計画する前に実際のハードウェアで試してみてください。