2016-12-14 6 views
1

我々のシステムは、5つのホスト(例えば、データノード又はコンピュータスレーブ...)のクラスタを有します。 1つのホストが遅いので、今、私はこれらのホストの減速機の異なる数を割り当てる必要があります。 。私たちはHadoop糸を使用しています。リソースマネージャ(いわゆるMapReduce1のジョブトラッカー)は、常に5つのホストに均等に数のレデューサーを割り当てます。とにかく、特定のホストの減速機の数を制限できるのですか?例えば、私が欲しいのは40のレデューサーとの仕事は、4台の高速なコンピュータが36のレデューサーを持っていること(例えば、9つのレデューサー各ホスト)は、遅いコンピュータのみ4レデューサーを持っています。異種クラスターのレデューサーの数をどのようにして割り振ることができますか?

答えて

1

それは完全に可能であり、一般的な現象は、Hadoopクラスタ内の不均一なシステムを持っています。典型的には、クラスタがより大きくなり続け、したがって水平方向にスケーリングされると、異なる構成の新しいノードがクラスタに追加される。そのようなシナリオで

は、特定のノードまたはノードのグループに適用可能な構成を有するために、我々は、それらのホストに応じて構成を変更する必要があります。

は、例えば、クラスタがAmbariによって管理されているHortonworksデータプラットフォームの場合には、ホストの設定グループの概念は、この目的のために活用することができます。また議論は、ノード・レベルで糸容器の数を増加させる程度で以下のリンクを、参照

https://docs.hortonworks.com/HDPDocuments/Ambari-2.1.1.0/bk_Ambari_Users_Guide/content/_using_host_config_groups.html

さらなる情報については、以下のリンクを参照してください。それはそこに議論ユースケースの反対であるだけでなく、あなたのケースで同じまま:

How to increase the number of containers in nodemanager in YARN

別の有用なリンク:

http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/

関連する問題