どこでspark.eventLog.enabledを設定できますか？

Question

マシン学習ライブラリMllibフォームのsparkをテストし、eclipseの依存関係を持つmavenプロジェクトを設定したいと考えています。 thisの例をコンパイルしようとすると、次の例外が発生します： `ERROR SparkContext：SparkContextの初期化エラーです。

ERROR SparkContext: Error initializing SparkContext. 
org.apache.spark.SparkException: A master URL must be set in your configuration 
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:371) 
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2256) 
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:831) 
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:823) 
    at scala.Option.getOrElse(Option.scala:121) 
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:823) 
    at testing.JavaLogisticRegressionSummaryExample.main(JavaLogisticRegressionSummaryExample.java:33) 

はあまりにも偽spark.eventLog.enabledを設定するための提案がなされてきたが、どこで、この値を設定するのですか？

Answer 1

eclipseをJavaプログラムとして実行している場合は、以下のようにマスターURLを設定できます。依存関係を持つjarを作成し、spar-submitを使用してsparkで実行すると、コマンドでmaster urlを渡すことができます。 Sparkのドキュメントを参照してください。

SparkSession spark = SparkSession 
    .builder() 
    .appName("JavaLogisticRegressionSummaryExample") 
    .config("spark.sql.warehouse.dir", "/file:C:/temp")//workaround for issue https://issues.apache.org/jira/browse/SPARK-15899 
    .master("local[2]") 
    .getOrCreate();