YARNのジョブの集約リソース割り当て

Question

Hadoopを初めて使用しています。私がジョブを実行すると、そのジョブの総リソース割り当ては251248654 MB-seconds、24462 vcore-secondsと表示されます。しかし、クラスタの詳細を見ると、合計888のVcoresと合計15.90 TBのメモリがあることがわかります。誰が私にこれがどう関係しているか教えてもらえますか仕事のMB秒とVcore秒は何を参照していますか？

これらを知るための資料はありますか？私はサーフィンを試みましたが、適切な答えを得ました。

Answer 1

VCores-Total: Indicates the total number of VCores available in the cluster 
Memory-Total: Indicates the total memory available in the cluster. 

私は単一ノードクラスタを持っています。コンテナあたりのメモリ所要量は、1228 MB（config：yarn.scheduler.minimum-allocation-mbで決定）、コンテナあたりのvCoresは1 vCore（config：yarn.scheduler.minimum-allocation-vcoresで決定）に設定しています。

私は：yarn.nodemanager.resource.memory-mbから9830 MBを設定しました。したがって、ノードあたり合計8個のコンテナ（9830/1228 = 8）が存在する可能性があります。

だから、私のクラスタ用：

VCores-Total = 1 (node) * 8 (containers) * 1 (vCore per container) = 8 
Memory-Total = 1 (node) * 8 (containers) * 1228 MB (memory per container) = 9824 MB = 9.59375 GB = 9.6 GB 

下図、私クラスタメトリックを示しています

今度はと"VCORE-秒""MB-秒" を見てみましょう。

MB-秒：（メガバイト）メモリの凝集量アプリケーションは時間にアプリケーションが実行された秒数を割り当てられたコード（ApplicationResourceUsageReport.java）で説明1として 。

vcore-seconds：アプリケーションが割り当てたvcoresの集計数に、アプリケーションが実行された秒数を掛けたもの。

説明は自己説明的です（キーワード：集約を覚えておいてください）。

例を挙げて説明します。 私は次しまったために、（25個のコンテナを生み出した）DistCpジョブを実行しました：

For memory: 
10361661 MB-seconds = 10361661/25 (containers)/1228 MB (memory per container) = 337.51 seconds = 5.62 minutes 

For CPU 
8424 vcore-seconds = 8424/25 (containers)/1 (vCore per container) = 336.96 seconds = 5.616 minutes 

これを：のは、各コンテナがかかったどのくらいの時間にいくつかの大まかな計算をやらせる、今

Aggregate Resource Allocation : 10361661 MB-seconds, 8424 vcore-seconds 

各コンテナは平均して実行するのに5.62分かかりました。

これは明らかです。ジョブを実行して自分で確認することができます。