2017-01-16 12 views
4

最新のScala-Pluginを使用して、IntelliJ 2016.3でScala 2.10.5でApache Spark 1.6.3を実行しようとしています。プロジェクトはmavenプロジェクトです。IntelliJ ScalaワークシートでApache Sparkを使用

私が使用して新しいSparkContextを作成しようとした場合:

val sparkConf = new SparkConf() 
val sc = new SparkContext(sparkConf.setAppName("Spark-Scala-Demo").setMaster("local[*]")) 

を私は

17/01/16 14:05:28 ERROR SparkContext: Error initializing SparkContext. 
java.lang.ClassNotFoundException: org.apache.spark.rpc.netty.NettyRpcEnvFactory 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424) 
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:348) 
    at org.apache.spark.util.Utils$.classForName(Utils.scala:175) 
    at org.apache.spark.rpc.RpcEnv$.getRpcEnvFactory(RpcEnv.scala:41) 

コードがメーンを定義IntelliJsのScalaのコンソールにだけでなく、通常のクラスの両方で正常に動作を取得します方法。

したがって、スケーラワークシートでは何が違うのですか?

答えて

0

ワークシートの先頭にこれを試してみてください。import org.apache.spark.rpc.netty

+0

は..同じ例外を助けていません –

関連する問題