Cloudera 5.6 spark memory縮尺設定

Question

私は5.6 CDM（マネージャー）のCDH 5.6クラスターを持っています。

spark.storage.memoryFaction 
spark.shuffle.memoryFaction 

異なる設定を試してみて、私のサンプルアプリケーションのパフォーマンスを見て - 私は、スパークのmemoryfaction設定を設定することができる場所を確認していません。

Answer 1

いずれスパークコンテキスト作成中：

--conf spark.storage.memoryFaction=1 

を：

sparkContext = { 
    val conf = new SparkConf() 
     .setAppName("Appname") 
     .set("spark.storage.memoryFaction", "someval") 
    new SparkContext(conf) 
    } 

し又はしながら添加することにより、火花を提出