Spark Rest APIなしでSparkのジョブの進行状況を聞く方法

Question

SparkListenerを拡張する独自のsparkリスナークラスを作成しました。私はJobStartとonJobEndのメソッドをオーバーライドしました。しかし、仕事の進歩を得る方法を見つけることができません。完成した仕事の割合を見たい。私はスパークレストAPIを介して得ることができますが、残念ながらそれを使用することはできません。私は仕事の進歩率を得ることができる他の方法はありますか？

Answer 1

すべてのジョブはステージで構成されているため、ジョブ開始イベントにはstageInfosが含まれています。すべてのステージにnumTasksがあるので、合計でいくつのタスクが存在するのかを数えることができます。また、onTaskEnd/onStageCompletedでリッスンすると、ジョブの進捗状況に従うことができます。