2016-05-05 10 views
1

私は次の用語を理解したい:私はこれまで理解することは、スパークマスターであるハーフープ(シングルおよびマルチ)ノード、spark-masterおよびspark-workerとは何ですか?

Hadoopの(単一ノードおよびマルチノード) スパークマスター スパークワーカー 名前ノード データノード

がジョブエグゼキュータですすべてのスパーク作業員を処理します。 hadoopはhdfs(私たちのデータが格納されている場所)であり、spark作業者が与えられた仕事に賛成するデータを読み込む場所です。私が間違っていれば私を修正してください。

また、namenodeとdatanodeの役割を理解したいと思います。私はnamenodeの役割を知っています(すべてのデータノードのメタデータ情報を持っていますが、それは1つだけ(好ましい)でなければなりませんが、2つになる可能性があります)、データノードは複数あり、

datanodesは同じhadoopノードですか?

私にこれを照らしてください。

ありがとうございます。

答えて

2

SPARKアーキテクチャ:

スパークmaster/worker architectureを使用しています。エグゼクティブが走っている労働者を管理するmasterという単一のコーディネーターに話すドライバーがいます。 enter image description here

ドライバとエグゼキュータは、それぞれ独自のJavaプロセスで実行されます。それらはすべて同じ(水平クラスタ)または別々のマシン(垂直クラスタ)または混合マシン構成で実行できます。

ノードは物理的なマシンに過ぎません。

Hadoopの名前ノードとデータノード:

HDFSは、マスタ/スレーブアーキテクチャを有します。 HDFSクラスタは、単一のNameNodeと、ファイルシステムの名前空間を管理し、クライアントによるファイルへのアクセスを規制するマスターサーバーで構成されています。さらに、多くのDataNodeがあります。通常、クラスタ内のノードごとに1つずつあり、ノードで実行されているノードに接続されたストレージを管理します。 HDFSはファイルシステムの名前空間を公開し、ユーザデータをファイルに保存することができます。内部的には、ファイルは1つまたは複数のブロックに分割され、これらのブロックは一連のDataNodeに格納されます。 NameNodeは、ファイルやディレクトリのオープン、クローズ、名前変更などのファイルシステムのネームスペース操作を実行します。また、DataNodeへのブロックのマッピングも決定されます。 DataNodeは、ファイルシステムのクライアントからの読み書き要求の処理を担当します。 DataNodesは、NameNodeからの命令に基づいて、ブロックの作成、削除、および複製も実行します。

enter image description here

うん、DataNodesはHadoopクラスタ内のスレーブノードです。

詳細については、ドキュメントを参照してください。

関連する問題