hadoop mapスピル・サイズとブロック・サイズ

Question

ブロック・サイズが128 MBの場合、io.sort.mbであるhadoopマップスピル・サイズが100 MB（デフォルト）であるのはなぜか不思議です。地図のタスクがそれほど多くのデータを処理しようとしているので、それをブロックサイズと同じにする方が理にかなっていませんか？もちろん、私はそこにもっと多くのRAMを割り当てる問題があるかもしれないと理解しますが、それ以上のことはありますか？

Answer 1

io.sort.mbは、メモリ内のファイルをソートするために必要なバッファメモリの総量です。 理想的なルールとして、RAMの70％を超えないように設定する必要があります。 ブロックサイズは基本的にディスクのファイルチャンクサイズを設定することです。入力分割をHDFSブロックサイズに関連付けることができます。

は良いアイデアに

http://mail-archives.apache.org/mod_mbox/hadoop-common-user/201104.mbox/%3CBANLkTinNd=iL9e_fPSW8DAaSyNhQwRdgfw@mail.gmail.com%3E

を取得するには、この記事を見てください