2つのマスターノードを持つスパーククラスタ。出来ますか？

Question

Sparkの22ノードのクラスタがあるとします。例えばZookeeperによって調整される2つのマスターノードをクラスタ内に持つことは可能ですか？

1つのマスターノードがスタンバイノードです。

Answer 1

可能です。この回復モードを有効にするために

設定

、この設定を使用して、スパーク-ENVにSPARK_DAEMON_JAVA_OPTSを設定することができます：confのオプションは、次の使用

spark.deployを意味

システムプロパティ.recoveryModeスタンバイマスター回復モードを有効にするには、ZOOKEEPERに設定します（デフォルト：NONE）。

spark.deploy.zookeeper.url ZooKeeperクラスタのURL（例：192.168.1.100:2181,192.168.1.101:2181）。

spark.deploy.zookeeper.dir回復ステートを格納するZooKeeperのディレクトリ（デフォルト：/ spark）。

Standby Masters with ZooKeeper