HadoopクラスタのNamenodeとJobtrackerの情報

Hadoopクラスタで次の情報を取得するにはどうすればよいですか？クラスタ正しい付与された権限を持つHadoopクラスタのNamenodeとJobtrackerの情報

2016-07-24 Arvind Kumar

私はclouderaベースのクラスタを使用しており、EMRでも作業しています。両方のクラスタで、設定ディレクトリから情報を見つけることができます。 namenode情報を取得するには、core-site.xmlファイルに移動し、fs.defaultFSを@ daemon12としてください。

ここでは、取得する方法を示します。ここ cat /etc/hadoop/conf/core-site.xml | grep '8020'

以下のコマンドを使用して名前ノード情報について結果値タグ内

<value>hdfs://10.872.22.1:8020</value>値は、名前ノードの情報です。

同様jobtracker情報を取得する

cat /etc/hadoop/conf/yarn-site.xml | grep '8032'

の下ここ

<value>10.872.12.32:8032</value>

が再びjobtracker値が値タグ内である結果で行います。

一般に、NNおよびJT情報はOozieジョブを実行するために使用され、この方法はこの目的に役立ちます。

免責事項：それぞれ8020と8032のnamenodeとjobtrackerのポート番号に基づいて、catの結果をグロップします。これはHadoopのNNとJTのための広く知られたポートです。あなたの組織が別の組織を使用している場合は、それを使用してより適切な結果を得てください。

出典

2018-01-31 14:54:59

、上の役割を持つすべてのノードの 1.名前ノードとjobtracker名 2.リスト（のようにsudo -u HDFS）、あなたが試すことがあります。

HDFS dfsadmin -report

出典

2016-07-24 18:29:48 tokiloutok

これは、クラスタ内のノードのIPアドレスを示しています。クラスタ内の役割を持つホスト名を取得するにはどうすればよいですか？ –

たとえば、これらのサーバにsshを実行し、jpsコマンドを実行して（適切な権限で）再度Javaプロセスを実行することができます。どのサーバでどのhadoopサーバが動作しているかを確認する必要があります。私はguiマネージャー（色合い、clouderaマネージャーのような）にアクセスしていないと思いますか？ – tokiloutok

情報を取得するコマンドラインの方法に加えて、あなたはまた、ブラウザで同様の情報を得ることができます。これらはデフォルトのポートです

http://<namenode>:50070 (For in general hadoop informtion) 
http://<namenode>:50030 (For JobTracker related information)

。詳細についてはhereを確認することができます。

出典

2016-07-25 05:31:52 daemon12

の名前を取得するには？ –

あなたのhadoopインストールフォルダに 'core-site.xml'を見てください。 'fs.default.name'という名前のプロパティがあります。値はになるはずです。 – daemon12

HadoopクラスタのNamenodeとJobtrackerの情報

答えて

関連する問題