なぜコンバイナ出力レコード= 0ですか？

Question

私は複数の入力を持っているので、私は2つのマッパーを持っています。また、私は1つのコンバイナを持っています：

class JoinCombiner extends MapReduceBase implements 
     Reducer<TextPair, Text, TextPair, Text> { 

    @Override 
    public void reduce(TextPair key, Iterator<Text> values, 
      OutputCollector<TextPair, Text> output, Reporter reporter) 
      throws IOException { 

     Text nodeId = new Text(values.next()); 
     while (values.hasNext()) { 
      Text node = values.next(); 
      TextPair outValue = new TextPair(nodeId.toString(), "0"); 
      output.collect(outValue , node); 
     } 
    } 
} 

私はこのクラスをReducerとして使用します。しかし、私は、コンバイナとしてそれを使用している場合 - 私は、ログにこの情報を持っている：

Combine input records=6 
Combine output records=0 
Reduce input groups=0 
Reduce shuffle bytes=30 
Reduce input records=0 
Reduce output records=0 

ので、合成器から出力なし - >削減のための入力なし。私は理由を理解できない。 ）あなたが考えを持っている場合、いくつかの説明をしてください） ありがとう

Answer 1

あなたが減速器を持っている場合にのみ、コンバイナが実行されます。コンバイナとレデューサの両方を同じクラスに設定してください（可能な場合）。また、減らすタスクの数を設定することを検討してください。

更新：コンバイナでキーを変更しようとしています。コンバイナの目的は、同じキーの値をローカルにまとめてトラフィックを減らすことです。コンバイナクラスのHadoop Tutorial on YDN

インスタンスから

は、マップタスクを実行しているすべてのノード上で実行されています。コンバイナは、指定されたノード上のMapperインスタンスによって発行されたすべてのデータを入力として受け取ります。 Combinerからの出力は、マッパーからの出力ではなく、Reducersに送られます。

私の経験によれば、それは完全に真実ではありません。 Hadoopは、マッパーが発行したキーのみをレデューサーに送信します。その間にコンバイナーがあれば、マッパーと同じキーを発行して、キーに関連付けられた値の数を減らす必要があります。 IMO、コンバイナのキーを変更すると、予期しない動作が発生します。あなたがコンバイナーの簡単なユースケースを理解できるようにするには、単語カウンターを考えてみてください。

Mapper1が発する：

hi 1 
hello 1 
hi 1 
hi 1 
hello 1 

Mapper2が発する：

hello 1 
hi 1 

あなたは7つの出力レコードを持っています。

Combiner1が発する：

hi 3 
hello 2 

Combiner2あなたは（マッパーが走っているのと同じマシン上での意味）ローカルキーの数を減らしたい場合さて、その後、コンバイナを持つことはあなたにこのような何かを与えます放出：

hello 1 
hi 1 

お知らせそのコンバイナは、キーを変更しませんでした。

Reducer1：今、減速時に、次のような値が得られますkey: hi, values: <3, 1>を、あなたが唯一の減速、同じ減速はそれを別のキーを与えることによって、再び呼び出されるしましたので、あなたはhi 4

を発します今回。

Reducer1：key: hello, values: <2, 1>あなたは出力は、マッパーによって放出されたキーに基づいてソートされ

hello 3 
hi 4 

を次のように最終的な出力は次のようになりhello 3

を発します。 レデューサーによって放出されたキーを変更することができますが、レデューサーによって放出されたキーによって出力がソートされることはありません（デフォルト）。希望が役立ちます。