Hadoop Map Reduce - Reducerの数

異なる年齢の会社の従業員のデータを持つユースケースがあります。私は3つの年齢のグループの男性と女性の従業員の最高給与を見つける必要があります。 plsはリンクの下に行くの詳細についてHadoop Map Reduce - Reducerの数

http://www.myhadoopexamples.com/2014/03/01/hadoop-mapreduce-example-with-partitioner/

私の質問は - ここでは、マッパーすなわち男性と女性でemited 2つだけのキーを持っています。ドライバクラスに3つの減速機を設定したので、3つのパーティションが作成されます。

物事の下にある2つがあるかもしれません -

3減速機は、これにより、次に各partionerで最大雌雄給料を見つける各3パーティションに対して実行されます。上のリンクに示すように期待される結果が得られます。
のみ減速機は、実際に男性の1と女性のための1つを実行し、計算を行います

出典

2016-06-23 pradeep rai

正確に何が必要ですか？ –

実行時にいくつの減速器が作成されますか？ 1つのパーティショナーの3つのレデューサーとサーバーのデータを一度に作成し、出力を処理するか、または2つのレデューサーのみをマッパーが2つのキーとしてそこに配置します。 –

これは約24時間で3回目ではありませんか？ http://stackoverflow.com/questions/37972288/number-of-reducer-in-map-reduceおよびhttp://stackoverflow.com/questions/37983319/number-of-reducer –

あなたが減速の本当のNUMをお知りになりたい場合は、あなたがより良いクラスタ上で実行したいです。

Number of reducer in map reduceで述べたように、3つのレデューサーを起動し、1つのレデューサーはデータを処理しません。 3つのレデューサーをすべて使用したい場合は、年齢別にデータを分割するようなPartionerクラスを変更することができます

出典

2016-06-23 11:46:00 yanghaogn

Hadoop Map Reduce - Reducerの数

答えて

関連する問題