我々のシステムは、5つのホスト(例えば、データノード又はコンピュータスレーブ...)のクラスタを有します。 1つのホストが遅いので、今、私はこれらのホストの減速機の異なる数を割り当てる必要があります。 。私たちはHadoop糸を使用しています。リソースマネージャ(いわゆるMapReduce1のジョブトラッカー)は、常に5つのホストに均等に数のレデューサーを割り当てます。とにかく、特定のホストの減速機の数を制限できるのですか?例えば、私が欲しいのは40のレデューサーとの仕事は、4台の高速なコンピュータが36のレデューサーを持っていること(例えば、9つのレデューサー各ホスト)は、遅いコンピュータのみ4レデューサーを持っています。異種クラスターのレデューサーの数をどのようにして割り振ることができますか?
1
A
答えて
1
それは完全に可能であり、一般的な現象は、Hadoopクラスタ内の不均一なシステムを持っています。典型的には、クラスタがより大きくなり続け、したがって水平方向にスケーリングされると、異なる構成の新しいノードがクラスタに追加される。そのようなシナリオで
は、特定のノードまたはノードのグループに適用可能な構成を有するために、我々は、それらのホストに応じて構成を変更する必要があります。
は、例えば、クラスタがAmbariによって管理されているHortonworksデータプラットフォームの場合には、ホストの設定グループの概念は、この目的のために活用することができます。また議論は、ノード・レベルで糸容器の数を増加させる程度で以下のリンクを、参照
:
さらなる情報については、以下のリンクを参照してください。それはそこに議論ユースケースの反対であるだけでなく、あなたのケースで同じまま:
How to increase the number of containers in nodemanager in YARN
別の有用なリンク:
http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/
関連する問題
- 1. どのように変数にランダムな整数を割り当てることができますか?
- 2. 変数にUITextFieldのデータをどのように割り当てることができますか?
- 3. PHP:MySQL Queryから変数にどのように値を割り当てることができますか?
- 4. どのようにしてmoodleのユーザに "coursecreator"ロールを割り当てることができますか?
- 5. どのようにしてクラスメソッドをHashMap内の値に割り当てることができますか?
- 6. C++入力値をstd :: bitset引数にどのように割り当てることができますか?
- 7. どのようにして正の値を割り当てることができますか?
- 8. どのようにしてこの種のforループをbashシェルスクリプトで書くことができますか?
- 9. どのようにしてプレーヤーは左から右に振動を止めることができますか?
- 10. リストの理解の中でどのように割り当てを行うことができますか?
- 11. 値の種類を割り当てることができません
- 12. どのようにLinuxのプロセスにCPUリソースを動的に割り当てることができますか?
- 13. 辞書の既存のキーの値をどのように割り当てることができますか?
- 14. $ this-> Html-> link(..);でIDとクラスをどのように割り当てることができますか?
- 15. C関数ポインタにはどのような種類のC++関数を置くことができますか?
- 16. 実行時にツールボタンのOnClickイベントをどのように割り当てることができますか?
- 17. IOSのローカルオブジェクトにどのようにオブジェクトを割り当てることができますか?以下
- 18. EPPlusのフォントにどのように色を割り当てることができますか?
- 19. どのように出力(タプル)をキー値に割り当てることができますか? Pythonの
- 20. Jquery:どのように再帰的に文書のボタンを割り当てることができますか?
- 21. どのようにクラスをNSStringオブジェクトからobjective-cで割り当てることができますか?
- 22. numpy.histogramをnumpy.bincountのように振ることができますか?
- 23. Perlで文字列をどのように事前に割り当てることができますか?
- 24. railsでself.attribute =を使わないでどのように割り当てることができますか?
- 25. 割り振るのではなく、エスプレッソを使うことができますか?
- 26. なぜ変数に異なる型の値を割り当てることができますか?
- 27. マップ・レデューサー・プログラムをコマンド・プロンプトから実行しているときにhadoopクラスターでヒープ・スペースが発生する
- 28. C++でどのようにポインタを割り当てることができますか?
- 29. AWS S3バケットにどのようにサブドメインを割り当てることができますか?
- 30. どのように構造体にメモリを割り当てることができますか?