2016-05-12 14 views
1

私はHDFSと糸でスパークを使用していますので、基本的にはハープで走ります。私は糸クライアントモードを使用して、クラスタ上でタスクを実行します。デフォルトでは、タスクはクラスタのデータノードで実行されます。しかし、私はいつもアイドル状態にあるので、いくつかのタスクを実行するnamenodeも好きです。だから、namenodeにいくつかのタスクを実行させることも可能ですか?もしそうなら、どうですか?Namenodeでタスクを実行することは可能ですか?

答えて

2

具体的には、スパークタスクはデータアノード上で実行されていません。 HadoopでSparkを実行すると、Hadoop/Yarnクラスタ上の各スレーブノードでハープ/ヤーンクラスタ実行ユニットの実行ユニットであるNodemanagers上でタスクが実行されます。しかし、一般的に各スレーブノード上のHadoop /糸クラスタでノードマネージャを持つ2つのプロセスデータノードとノードマネージャ

名前ノードの等価(datanodesのマスター)がある(nodemanagersのマスタである)のResourceManager

あります

Namenode(またはResourceManager)を実行している同じホスト上でnodemanagerプロセスを開始していない限り、Namenode/ResourceManager自体はどのようなタスクも実行できませんでした。

ネームノードプロセスが起動する物理ノードをNameNodeで表す場合は、ノードを起動するとすぐに可能ですそのノードのマネージャープロセス

関連する問題