スレッドからキャッチされない致命的なエラー[default-akka.actor.default-dispatcher-5] ActorSystemをシャットダウン

Question

私のアプリケーションでは、私はcassandraからデータを取得し、akkaスプレーを使って残りのAPIを提供しています。私はIDEを実行しているときにうまくいきます。下記のよう

[ERROR] [04/05/2016 10:43:38.687] [default-akka.actor.default-dispatcher-5] [ActorSystem(default)] Uncaught fatal error from thread [default-akka.actor.default-dispatcher-5] shutting down ActorSystem [default] java.lang.NoSuchMethodError: org.apache.spark.sql.cassandra.CassandraSQLContext$$anon$1.DDLStrategy()Lorg/apache/spark/sql/execution/SparkStrategies$DDLStrategy$; at org.apache.spark.sql.cassandra.CassandraSQLContext$$anon$1.(CassandraSQLContext.scala:89) at org.apache.spark.sql.cassandra.CassandraSQLContext.(CassandraSQLContext.scala:85)

マイbuild.sbtの下に与えられたとしてしかし、私は私のマシン上でローカルにSpark submitて実行していたときには、エラーが発生しました。

scalaVersion := "2.10.5" 

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.0" 

libraryDependencies += "org.apache.spark" %% "spark-streaming" % "1.4.0" 

libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.4.0" 

libraryDependencies += "com.datastax.spark" %% "spark-cassandra-connector" % "1.4.0" withSources() withJavadoc() 


resolvers ++= Seq(
    "Akka Repository" at "http://repo.akka.io/releases/") 

resolvers ++= Seq("Typesafe Repository" at "http://repo.typesafe.com/typesafe/releases/", 
    "Spray Repository" at "http://repo.spray.io") 


libraryDependencies += 
    "com.typesafe.akka" %% "akka-actor" % "2.3.14" 


libraryDependencies ++= { 
    val sprayVersion  = "1.3.2" 
    Seq(
    "io.spray"   %% "spray-can"  % sprayVersion, 
    "io.spray"   %% "spray-routing" % sprayVersion, 
    "io.spray"   %% "spray-json"  % sprayVersion 

) 
} 

私が行った間違いをお知らせください。事前に感謝します。あなたの提案はすべて価値があります。

Answer 1

あなたのコードだけを含むJARを提出している可能性があります。 --jarsパラメータ（Spark submit's advanced dependency managementを参照）を使用してクラスパス（spark-submit用）にspark-cassandra-connectorを追加する必要があります。

または、依存関係を含むfat JARを構築して送信してくださいこれまでのようにsbt-assembly