mapreduceを使っていくつかのファイルをマージするには？

Question

マップ/リダクションを使用して同じディレクトリの下にあるいくつかの小さなファイルをマージしようとしています。誰かがストリーミングを使って非常にシンプルになると言いましたが、今はJAVAマップ/縮小しか使用できません。 私の解決策は1つのレコードを1つのレコードで読み込み、同じ出力ファイルに書き込んでいます。しかし、効率が悪いと思います。ファイル全体の内容をマッパーの値として使用できるので、I/O効率を向上できますか？ 返信いただきありがとうございます！

hadoop fs -cat /path/to/files/*.txt | hadoop fs -put - /output/path/blobbed.txt 

あなたは、これがさらに大きなデータセットをうまく動作することがあります：

Answer 1

これを行うには「非効率的」な方法は、単に猫のファイルをアウト戻ってそれを書くことです。