SBTは：私が火花仕事をしているSBT

Question

からリモートクラスタ上でスパークジョブを実行すると、私は地元の火花で次のようにし

• ファイル名を指定して実行を実行することができていた、Scalaで書かれた（WORDCOUNTそれを呼び出すことができます） runMain WORDCOUNT [INPUTFILE] [Otuputdir]ローカル[*]遠隔スパーククラスタに

• 実行ジャーを火花提出> SBT SBT

  内からインスタンス

  SBT>パッケージ

  $> --masterスパーク火花提出：//192.168.1.1：7077 --class WORDCOUNTターゲット/ Scalaの-2.10/wordcount_2.10-1.5.0-SNAPSHOTを。瓶は、[入力ファイル] [Otuputdir]

コード：

// get arguments 
val inputFile = args(0) 
val outputDir = args(1) 
// if 3rd argument defined then use it 
val conf = if (args.length == 3) new SparkConf().setAppName("WordCount").setMaster(args(2)) else new SparkConf().setAppName("WordCount") 
val sc = new SparkContext(conf) 

がどのように私はSBTからリモートスパーククラスタにこのジョブを実行できますか？

Answer 1

spark-submit用のsbtプラグインがあります。 https://github.com/saurfang/sbt-spark-submit