2017-02-03 5 views
2

は、我々は5ノードクラスタ糸によって管理され、実行中のHadoop糸:糸はより多くのメモリを利用作り、

1マスターネームノード8 vcoresと24ギガバイトのメモリを持っているvcoresする方法

4のデータは、それぞれ8 vcoresノードと24ギガバイトのメモリ

私はその下の絵で強調されているようにUI上糸の構成を見てのみ16ギガバイトと6 vcores

enter image description here

を使用しています

私たちのアプリケーションは16GBのすべてを使用していますので、使用可能なメモリが24GBであるため、メモリを増やしたい場合は

ここで16GBの代わりに22GBを設定する必要がありますか?研究から

は、糸-site.xmlには、場所はとても先に行って、それを更新し、再起動糸が、それでもそのコミュニティの専門家のいずれかが、私たちのように役立つ場合感謝をgrealtyだろ

16ギガバイトを示すかもしれない発見しましたこれはあなたの理解が完全に間違っている糸-site.xmlの

<configuration> 

    <!-- Site specific YARN configuration properties --> 
    <property> 
     <name>yarn.nodemanager.aux-services</name> 
     <value>mapreduce_shuffle</value> 
    </property> 

    <property> 
     <name>yarn.resourcemanager.hostname</name> 
     <value>hdfs-name-node</value> 
    </property> 

    <property> 
     <name>yarn.nodemanager.resource.memory-mb</name> 
     <value>21528</value> 
    </property> 

    <property> 
     <name>yarn.nodemanager.resource.cpu-vcores</name> 
     <value>6</value> 
    </property> 

    <property> 
     <name>yarn.scheduler.maximum-allocation-mb</name> 
     <value>21528</value> 
    </property> 

    <property> 
     <name>yarn.nodemanager.local-dirs</name> 
     <value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value> 
    </property> 

    <property> 
     <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name> 
     <value>500</value> 
    </property> 

    <property> 
     <name>yarn.nodemanager.localizer.cache.target-size-mb</name> 
     <value>512</value> 
    </property> 

    <property> 
     <name>yarn.nodemanager.address</name> 
     <value>0.0.0.0:8039</value> 
    </property> 

    </configuration> 

答えて

1

ある

を糸に新しいです。添付の画像によれば、糸で使用される合計メモリは64GB、VCoresは24です。

イメージの強調表示された部分は、管理者によってテナント用に設計されたスケジューラのメモリとvcoresです。

スケジューラーキューの一部である場合は、最大16 GBと6 Vcor​​esを使用できます。

+0

Wayne私たちの理解が間違っているかもしれないかもしれません.......私は** yarn-site.xml **で質問を更新しました**それを見て、助けてください私たちはよく理解しています...キューを使用していません。このクラスタはこのジョブ専用クラスタです。各ノードに** 22GB **があれば、クラスタのメモリ容量は4 * 22 = ** 88GB **なぜ糸が4 * 16GB = 64GBを表示しているのか分かりませんか? – user2359997

0

イメージによると、クラスタの容量は64GBと24のvcoresです。

赤丸(楕円形;)は、容量スケジューラ用に設定されたリソースを示します。

ここで、16GBの代わりに22GBを設定する必要がありますか?

キューを構成する必要があります(適切なアクセス許可がある場合)。詳細情報をお読みくださいthis

+0

私たちはこのようなキューをこのジョブ用の専用クラスタとして使用していません。もし** capacity-scheduler.xmlを追加すると助けになると思えば**私はそれをして嬉しいです。しかし私はそれを見ました私たちが設定した値はありません – user2359997

+0

糸には、ジョブにクラスタリソースを割り当てる内部キューがあります。デフォルト糸キューを使用しています。ですから、capacity-scheduler.xmlを追加して 'yarn.scheduler.capacity 'を設定することをお勧めします。 .maximum-allocation-mb'と 'yarn.scheduler.capacity。 .maximum-allocation-vcores'プロパティを使用して、完全なクラスタ容量(64GB、24V)を提供しています。 – code

関連する問題