Hadoop-2.7.2：リソースの管理方法

Question

16コア、64 GB RAM、2.5 TBディスクのサーバーを使用しています。私はGiraphプログラムを実行します。私はhadoop-2.7.2をインストールしました。サーバが多くのユーザによって使用されているため、サーバリソースの一部だけを使用するようにhadoopを設定する方法がわかりません。 要件： HadoopはNameNode、DataNode、JobTracker、TaskTrackerに最大4コア、タスクに最大8コア、最大28GBのRAM（4 * 3GB + 8 * 2GB）を使用する必要があります。

私の糸サイトのリソースの設定：

<property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
    <value>28672</value> 
<description>Physical memory, in MB, to be made available to running containers</description> 
</property> 

<property> 
    <name>yarn.nodemanager.resource.cpu-vcores</name> 
    <value>12</value> 
    <description>Number of CPU cores that can be allocated for containers.</description> 
</property> 
</configuration> 

私はhttp://localhost:8088糸アプリケーションの状態で、Giraphプログラムを実行しようとしている：ACCEPTED：AMコンテナは、割り当てられた打ち上げとRMに登録されるのを待っています。

上記の要件を満たすために、私のYarn-site.xmlにはいくつかの設定がありません。サービスにリソースを割り当てる前に

Answer 1

は、ClouderaのからYarn tuning Guideファイルを見て、あなたが

糸を述べたように、あなたはなど

OSに割り当てられるべきであるどのくらいのリソースアイデア、Hadoopのデーモンを、取得しますアプリケーションの状態は次のとおりです：AMコンテナの割り当て、起動、およびRMへの登録を待つ

ジョブに使用可能なリソースがない場合は、ACCEPTED状態になります。それはリソースを取得します。したがって、あなたのケースでは、同時に送信しているジョブの数を確認し、それらのジョブのリソース使用率をチェックしてください。

ジョブを待機しないように設定する場合は、作成を検討する必要があります。scheduler queues