データ入力が常に変化している一部のバッチジョブを実行しており、プロビジョニング能力に問題があります。私は初期セットアップを行うために渦を使用していますが、例えば5台のマシンを起動すると、実行中に新しいマシンを追加する方法がわかりません。私は事前にデータの複雑さや大きさを知りませんので、新しいマシンをクラスタに追加してすぐに有効にする方法があるのかどうか疑問に思っていました。クラスタを停止して新しいノードで起動する必要があります)。ライブhbase/hadoopクラスタに新しいノードを追加するにはどうすればよいですか?
2
A
答えて
9
ノードを追加するにはどのように正確な説明があります: http://wiki.apache.org/hadoop/FAQ#I_have_a_new_node_I_want_to_add_to_a_running_Hadoop_cluster.3B_how_do_I_start_services_on_just_one_node.3F
同じ時間で - 私はどこ各タスクを実行することを計画すると、ジョブ開始時刻の間に発生したため、すでに実行中のジョブは、これらのノードの利点を取ることを確認していません(私が理解する限りでは)。
また、これらの一時的なノードでのみタスクトラッカーを実行する方が現実的だと思います。
2
以下のパラメータによって参照されるファイルを確認します。
- dfs.hosts => dfs.include
- dfs.hosts.exclude
- mapreduce.jobtracker.hosts.filename => mapred.include
- あなたはファイルがdfs.includeにホストのリストを追加し、mapred.includeでき
mapreduce.jobtracker.hosts.exclude.filename次に実行する
hadoop mradmin -refreshNodes;
hadoop dfsadmin -refreshNodes;
それだけです。
ところで、「mradminの-refreshNodes」施設が新しいノード上でスケジュールすることができる0.21
ニキル
関連する問題
- 1. mnesiaクラスタにノードを追加するにはどうすればよいですか?
- 2. cassandraクラスタに新しいノードを追加する方法
- 3. 選択したノードに新しいツリービューを追加するにはどうすればいいですか?
- 4. jQueryでは、新しい要素が追加されたときに「ライブ」メソッドを使用して警告するにはどうすればよいですか?
- 5. gitに追加された新しいファイルを無視するにはどうすればよいですか?
- 6. Dojoを使用してDOMノードにスタイリングを追加するにはどうすればよいですか?
- 7. JavaScriptから完全に新しい動画を追加するにはどうすればよいですか?
- 8. 要素に新しいクラスを動的に追加するにはどうすればよいですか?
- 9. ライブUIViewを新しいUIViewにコピーするにはどうすればよいですか?
- 10. Magento 1.9でレイアウトに新しいブロックを追加するにはどうすればよいですか?
- 11. iPhoneで水平スワイプイベントに新しいwebviewを追加するにはどうすればよいですか?
- 12. クラッシュしたerlang mnesiaノードを再びクラスタに再接続するにはどうすればいいですか?
- 13. Androidに新しい電話カレンダーを追加するにはどうすればよいですか?
- 14. 新しいExcelワークブックをoffice.jsペインアプリに追加するにはどうすればよいですか?
- 15. MailChimpアカウントに新しいリストを追加するにはどうすればよいですか?
- 16. RuntimePermissionを新しいJavaセキュリティポリシーに追加するにはどうすればよいですか?
- 17. フロートグラフに新しいシングルポイントを追加するにはどうすればよいですか?
- 18. エクスプローラの右クリックコンテキストメニューに新しいオプションを追加するにはどうすればよいですか?
- 19. Eclipse "New Gradle Project"ウィザードに新しいカスタム "サンプルプロジェクト"を追加するにはどうすればよいですか?
- 20. WordPressのwp_dropdown_categories内に新しいフィールドを追加するにはどうすればよいですか?
- 21. nginxに新しいsite/server_nameを追加するにはどうすればよいですか?
- 22. コントロールに新しいプロパティを追加するにはどうすればよいですか?
- 23. 新しい行の追加をリストにトラップするにはどうすればよいですか?
- 24. 新しい列と行をデータベースに追加するにはどうすればよいですか?
- 25. String配列に新しい項目を追加するにはどうすればよいですか?
- 26. 既存のxmlファイルに新しいプロパティを追加するにはどうすればよいですか?
- 27. 実行時に新しい列を追加するにはどうすればよいですか?
- 28. drupalのトップページに新しいコンテンツタイプのエントリリンクを追加するにはどうすればよいですか?
- 29. アンドロイドの日付ピッカーウィジェットに新しいボタンを追加するにはどうすればよいですか?
- 30. ExrJs 3.フィールドの後に新しい要素を追加するにはどうすればよいですか?
未開始タスクに追加されましたが、それは既存のタスクを分割しません。さらに、新しいノードのどれもがローカルに格納されるデータを持たないため、処理のためにこれらのノードにデータをプッシュするオーバーヘッドは、すでに存在する場所を処理するコストよりも大きい場合があります。 –