メゾスでスパークする方法ドライバの場所を設定する方法

Question

スパークをメゾスでクラスタモードで実行しています。

ジョブをサブミットすると、ドライバは任意のスレーブノード上でランダムに実行されます。ドライバの場所を指定する方法はありますか？例えば、私が実行したいスレーブのIP ...

は私がspark.driver.host

おかげで、cluster modeで

Answer 1

番号を使用することができますが、それは./bin/spark-submitコマンドで--deploy-mode clusterオプションを使用して、あります、ドライバはクラスタ内のノードで起動されます。 をspark.driver.hostに設定するか、spark.driver.portに設定する必要があります。これはプログラムによってSparkContextで設定されます。