スパーク設定優先

Question

コードにスパークアプリケーション構成を指定するとの間の差又は優先順位がん

SparkConf().setMaster(yarn) 

とはい、最高の優先順位をすることが好ましい

spark-submit --master yarn 

Answer 1

コマンドラインでそれらを指定しますset（）関数を使用してユーザーのコード内で構成します。その後、旗はspark-submitで渡されました。

sparkConfに直接設定されたプロパティが最も優先され、その後、spark-submitまたはspark-shellに渡されたフラグ、次にspark-defaults.confファイルのオプションが使用されます。以前のバージョンのSparkからいくつかの設定キーの名前が変更されました。そのような場合、古いキー名は受け入れられますが、新しいキーのインスタンスよりも優先順位が低くなります。

Source

Answer 2

4優先レベルがある：（1〜4、1が最優先である）：アプリケーションで火花提出して説明

プロパティを設定

1. SparkConfは
2. プロパティはプロパティファイルで指定できます。コマンドライン上で指定する優先度よりも

Answer 3

その他の提出

デフォルト値は、あなたは、コードを変更することなく、異なるクラスタマネージャ上で実行できるようになりながら プロパティファイルを引数として指定することができます。同じアプリケーションをローカル[n]または糸またはメソまたはスタンドアロンのスパークで実行することができます。