HA機能を備えたHadoop Yarn Cluster上のApache Sparkデプロイ

Bigデータ環境に新しく、Zookeeperを使用してHA機能を備えた3ノードHadoopクラスタ2.6をインストールすることから始まりました。HA機能を備えたHadoop Yarn Cluster上のApache Sparkデプロイ

NN1とNN2でzookeeperを使用してフェイルオーバーシナリオをテストし、うまくいきました。

私は、Hadoop YarnクラスタにHA Capabilityを搭載したApache Sparkをインストールすることを考えていました。

インストール手順を教えてもらえますか？スタンドアローンモードでスパークをセットアップする方法と、セットアップが正常に完了した方法しか見つけられませんでした。今私は、HAの機能と一緒に糸クラスタ内の同じをインストールしたい

I持つ3ノードクラスタ（NN1、NN2、DN1）、以下のデーモンは現在、これらの各サーバー上で実行されている、

Nodes running in Master NameNode (NN1) 
Jps 
DataNode  
DFSZKFailoverController 
JournalNode 
ResourceManager 
NameNode  
QuorumPeerMain 
NodeManager 

Nodes running in StandBy NameNode (NN2) 
Jps 
DFSZKFailoverController 
NameNode  
QuorumPeerMain 
NodeManager 
JournalNode 
DataNode  

Nodes running in DataNode (DN1) 

QuorumPeerMain 
Jps 
DataNode  
JournalNode 
NodeManager

出典

2016-03-23 Ashesh Nair

ResourceManager HA（http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html）をセットアップする必要があります。 YARNで実行されたときのSparkは独自のデーモンプロセスを実行しないため、YARNモードでHAを必要とする起動部分はありません。

出典

2016-03-23 07:33:14 facha

私のhadoopクラスタでRMの高可用性をセットアップした後で、このブログに示されているように（http：// backtobazics .com/big-data/6-steps-to-setup-apache-spark-1-0-1-multi-node-cluster-on-centos /） –

このリンクは、スタンドアロンのスパーク設定を説明しています。 YARNでsparkを実行するには、クライアントマシンにsparkをダウンロードして、次のガイドラインを使用してジョブを起動する必要があります。http://spark.apache.org/docs/latest/running-on-yarn.html – facha

Spark Yarnモードを設定できます.Yarnモードでは、ドライバとエグゼキュータを設定できます。クラスタの容量によって異なります。

spark.executor.memory <value>

エグゼキュータの数は、YARNコンテナメモリに基づいて割り当てられます。

出典

2016-03-23 10:44:47 karthik

ResourceManagerのためのHA、しかし、私は糸クライアントとして私はいくつかの問題に直面しているスパークを実行しようとすると。別の質問を投稿しました。http://stackoverflow.com/questions/36472113/spark-config-files –

HA機能を備えたHadoop Yarn Cluster上のApache Sparkデプロイ

答えて

関連する問題