私はHDFSと糸でスパークを使用していますので、基本的にはハープで走ります。私は糸クライアントモードを使用して、クラスタ上でタスクを実行します。デフォルトでは、タスクはクラスタのデータノードで実行されます。しかし、私はいつもアイドル状態にあるので、いくつかのタスクを実行するnamenodeも好きです。だから、namenodeにいくつかのタスクを実行させることも可能ですか?もしそうなら、どうですか?Namenodeでタスクを実行することは可能ですか?
1
A
答えて
2
具体的には、スパークタスクはデータアノード上で実行されていません。 HadoopでSparkを実行すると、Hadoop/Yarnクラスタ上の各スレーブノードでハープ/ヤーンクラスタ実行ユニットの実行ユニットであるNodemanagers上でタスクが実行されます。しかし、一般的に各スレーブノード上のHadoop /糸クラスタでノードマネージャを持つ2つのプロセスデータノードとノードマネージャ
名前ノードの等価(datanodesのマスター)がある(nodemanagersのマスタである)のResourceManager
ありますNamenode(またはResourceManager)を実行している同じホスト上でnodemanagerプロセスを開始していない限り、Namenode/ResourceManager自体はどのようなタスクも実行できませんでした。
ネームノードプロセスが起動する物理ノードをNameNodeで表す場合は、ノードを起動するとすぐに可能ですそのノードのマネージャープロセス
関連する問題
- 1. d3でマルチズームを実行することは可能ですか
- 2. ArduinoでZeroMQを実行することは可能ですか
- 3. アンドロイドエミュレータでviberを実行することは可能ですか?
- 4. JavaScriptをリアルタイムで実行することは可能ですか?
- 5. mysqlでcronタスクをスケジュールすることは可能ですか?
- 6. 差動リンクを実行することは可能ですか?
- 7. コード実行ステップをカウントすることは可能ですか?
- 8. リモートホストで実行可能なタスク
- 9. Javaでシェルスクリプトを実行することは可能です
- 10. 実行可能ファイルをMS-DOSプログラムに渡すことは可能ですか?
- 11. gulpタスクを開発者が非実行可能としてマークすることはできますか?
- 12. 実行可能なプレイブックから1つのタスクとハンドラを実行する
- 13. パスカルでこのWindowsコマンドを実行することは可能ですか?
- 14. 実行可能なタスクが実行されるかどうか
- 15. トール実行可能ファイルは、タスク名
- 16. C++同時実行ループを実行することも可能ですか?
- 17. C#(ASP.NET)でJSONクエリをプログラムで実行することは可能ですか?
- 18. インターネット接続が可能なときにタスクを実行する
- 19. ocamloptは、ここで実行可能
- 20. は、.netアプリケーションからWindowsアップデーターを実行することは可能ですか?
- 21. 条件なしでModel.firstを実行することは可能ですか
- 22. MVC3で実行時にルートを追加することは可能ですか?
- 23. MySQLインサートでPHPを実行することは可能ですか?
- 24. Windows上でlinux dockerイメージを実行することは可能ですか
- 25. Flink 1.2.0でElasticsearch 5.xを実行することは可能ですか?
- 26. BigQuery:UDF内で別のクエリを実行することは可能ですか?
- 27. powerpcベースのLinuxでNodejsを実行することは可能ですか?
- 28. Eclipse:ファイル保存アクションでFindBugsを実行することは可能ですか?
- 29. rstudio - バックグラウンドでコードを実行することは可能ですか?
- 30. GPUで純粋なC++コードを実行することは可能ですか