Hadoop MapReduceに複数の異なるマッパーを持つ複数の入力を持つことは可能ですか？

Question

Hadoop MapReduceに複数の異なるマッパーを複数入力することは可能ですか？各マッパークラスは異なる入力セットで動作しますが、それらはすべて同じレデューサーによって消費されるキーと値のペアを放出します。ここでは、マッパーを連鎖させることについては言及していませんが、私は、異なるマッパーを並行して実行しています。

Answer 1

これは結合と呼ばれます。

mapred。*パッケージ（以前はサポートされていましたが、まだサポートされています）にマッパーとレデューサーを使いたいとします。新しいパッケージ（mapreduce。*）では、1つのマッパー入力のみが可能です。 mapredパッケージを使用すると、結合を定義するためにMultipleInputsクラスを使用します。

MultipleInputs.addInputPath(jobConf, 
        new Path(countsSource),  
        SequenceFileInputFormat.class, 
        CountMapper.class); 
MultipleInputs.addInputPath(jobConf, 
        new Path(dictionarySource), 
        SomeOtherInputFormat.class, 
        TranslateMapper.class); 

jobConf.setJarByClass(ReportJob.class); 
jobConf.setReducerClass(WriteTextReducer.class); 

jobConf.setMapOutputKeyClass(Text.class); 
jobConf.setMapOutputValueClass(WordInfo.class); 

jobConf.setOutputKeyClass(Text.class); 
jobConf.setOutputValueClass(Text.class); 

Answer 2

は、私は質問、2件の回答、及び抗勧告であなたの質問にお答えします。

異種マッピングジョブを並行して実行するときに、どのような利点がありますか？正しくシャッフルできる均質な結果が出力されますか？アイデンティティマップを使用して同じレコードを2回渡すことを避けるというアイデアですか？

最初の答えは、艦隊の半分（または入力データサイズに最も適した比率）のマッパー専用ジョブを同時にスケジュールし、均質な結果を出力し、続いて結合を実行する減速専用ジョブを実行することです。

2番目の答えは、異種入力の両方のフレーバーを認識して変換できるカスタムのInputFormatを作成することです。これは非常に醜いですが、最初の提案の不要なアイデンティティマップを避けることができます。

反推奨はではありません。では、Chrisの回答から廃止予定のHadoop APIを使用しています。 Hadoopは非常に若いですが、APIは「新しい」フレーバーの周りで安定しています。あなたは最終的にバージョンロックインに到着するでしょう。