Hadoop MapReduceジョブでセカンダリソートの問題をデバッグする際のヒントを教えてください。

Question

私は、2次ソートがHadoopでどのように動作するかを理解しています。私は4つのフィールドで構成される中間キーを作成しました。私は最初のフィールドで分割し、1番目と2番目にグループ化し、すべてでソートします。

グルーピングとパーティション分割を釘付けにしているようですが、値は減速器に順不同です。

これをデバッグする方法についてのアイデアはありますか？

Answer 1

現時点では、手動またはツールを使用して静的コードのレビューがうまくいくようです。 compareTo()を無効にするときは、equals()とhashCode()を上書きすることを忘れないでください。これを修正して問題を解決すれば、私は誰もが投稿し続けるでしょう。