2016-12-12 4 views
2

Scalaの場合はSparkContext.applicationIdを使用できますが、SparkのJava APIを使用して同じことを行う方法は見つかりませんでした。 spark.app.idSparkアプリケーションのapplicationIdをJavaのYARNにデプロイする方法は?

を使用することができる他の任意の固有IDがあります:はNoSuchElementExceptionでSparkConf.getAppId()結果を使用して

私のユースケース:私はすでに存在しており、前のジョブの出力を削除避け、あなたがSparkContext.applicationIdを使用することができ、ランダムなUUID

答えて

4

を使用しないようにしたい前のジョブからの場合の出力に失敗しないためにスパーク仕事をしたい:

JavaSparkContext jsc = ...; 
jsc.sc.applicationId; 
+0

ありがとう、リトライ回数も取得する方法はありますか?私はapplicationIdが再試行の場合に同じになると思います – user401445

+1

アプリケーションIDを持っているときは、REST API(https://spark.apache.org/docs/latest/monitoring.html#rest-api)を使うことができますが、わかりませんそれ以外の方法があれば。 –

0

Javaコード

System.out.println("appid = " + spark.sparkContext().applicationId()); 

結果

appid = app-20171023065927-0026 
関連する問題