sparkアプリケーション用に割り当てられたリソース（割り当てられたメモリ）の計算方法は？

Question

私たちが知っているように、スパークアプリケーションを実行するには、クラスタはリソースを割り当てますが、アプリケーションに必要なデフォルトの設定など、割り当てられたメモリの合計を計算する方法はありますか？

Answer 1

あなたは一般driver_memory、num_executorsとexecutor_memoryを指定スパークジョブを送信すると、スパークジョブの総割り当てられたメモリは式

Total Memory = memory required by the driver + the memory used by executors * number of executors 

で与えられます。

スパークを指定していない場合は、デフォルト値を入力します。 sparkのデフォルト値はconf/spark-defaults.confにあります。Check here