0
最終出力が降順で表示されるように、ワードカウントプログラムでセカンダリソートを実行する方法は? (値に基づいて)Hadoop MapReduce
注:私はテキストファイルからデータを読み取っています。 私はコンポジットキー、パーティショナー、コンパレータ、この質問にどのように使用する必要がありますか?多くの例えば4または5つの入力、例えば、温度ここ
最終出力が降順で表示されるように、ワードカウントプログラムでセカンダリソートを実行する方法は? (値に基づいて)Hadoop MapReduce
注:私はテキストファイルからデータを読み取っています。 私はコンポジットキー、パーティショナー、コンパレータ、この質問にどのように使用する必要がありますか?多くの例えば4または5つの入力、例えば、温度ここ
を持ってオンラインで、私は、MapReduceのプログラムは、実際のパーティションであると仮定してソートしています。逆順でソートするには、ソート値の後ろに 'r'を追加します(k1,1r
)。
これは、mapReduceがzから逆順にアルファベット順にソートし、aからaに降りることを意味します。
-D mapreduce.partition.keycomparator.options="-k1,1r -k2,2 -k3,3"
パーティショニングとソートが最初に実際に行われていることを確認してください。