クラスタですべてのノードが利用されているわけではありません

Question

YARNによって管理されている30ノードのHadoop MR2クラスタがあります。現時点で10のOozieジョブがあり、それぞれに1つのMapプログラムが実行されています。私は、30ノードのうち11ノードしか実際に利用されていないことに気付いています。 Mapプログラムを実行するコンテナは11ノードのみです。

各ノードに少なくとも1つのコンテナが実行されていると思います。それはなぜそうではないのですか？それは入力分割によるもので、私のHDFSブロックサイズの設定に基づいて、入力データは11個のノードに分割するのが最良でしたか？その場合、すべてのノードが利用されるようにブロックサイズを調整する方が最適でしょうか？

Answer 1

要求に応じて、リソースマネージャは必要なリソースをクラスタに割り当てます。これらのリソースはコンテナに使用され、マップ縮小ジョブが実行されます。

リソースノードが十分にある場合、データノードは複数のコンテナをホストできます。 hadoopでは、データに移動される計算であり、その逆ではないことを忘れないでください。 mapreduceジョブを実行しているデータノードは、処理しているデータを格納している可能性が高いです。 データブロックに依存する入力分割は、計算に関与するホストに直接影響しません。

すべてのノードを実行する必要があると考えるのは悪い考えです。大きなデータを使うのは、可能な限り少ないデータ量で動く。