Pyspark、プログラムでスパークを初期化する：IllegalArgumentException：アプリケーションリソースが見つからない

Question

Pythonでスパークコンテキストを作成すると、次のエラーが発生する。

app_name="my_app" 
master="local[*]" 
sc = SparkContext(appName=app_name, master=master) 

Exception in thread "main" java.lang.IllegalArgumentException: Missing application resource. 
at org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241) 
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitArgs(SparkSubmitCommandBuilder.java:160) 
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:276) 
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildCommand(SparkSubmitCommandBuilder.java:151) 
at org.apache.spark.launcher.Main.main(Main.java:86) 

.... 

pyspark.zip/pyspark/java_gateway.py", line 94, in launch_gateway 
raise Exception("Java gateway process exited before sending the driver its port number") 
Exception: Java gateway process exited before sending the driver its port number 

スパークランチャーは何とか失敗しているようです。

Answer 1

これは、矛盾する既存のenv変数のために起こっていました。私はpythonプログラムでそれらを削除し、今はスムーズに動作します。

例：

import os 
#check if pyspark env vars are set and then reset to required or delete. 
del os.environ['PYSPARK_SUBMIT_ARGS']