sparksession getorcreateメソッドは、他のスパークジョブが実行されるまでスタックしました

Question

私はoozieからスパークジョブを実行しようとしていますが、私はoozieワークフローで2つのアクションを持ち、しかし、Oozieが起動したときに、sparksession.getorcreate（）メソッドで完了するまで他のものがスタックされます。

self.spark_session = SparkSession.builder.master(master).appName(appName).config(conf=conf).enableHiveSupport().getOrCreate() 

Answer 1

すると、YARN上で実行している場合 - リソースマネージャUIを開き、すべてのジョブ（例えばvCores /メモリ）のための十分なリソースがあるかどうか確認してください。