2016-07-22 5 views
0
I am getting the following error while connecting Cloudant DB from my local Spark cluster(PySpark) using spark-cloudant connector. 

    The spark-cloudant connector is: https://spark-packages.org/package/cloudant-labs/spark-cloudant 

    I am started my PySpark with following command, 
    pyspark2.cmd --jars "all jars for spark-cloudant connector" 

The code I am using, 
sqlContextNew = SQLContext(sc) 
booksDataDF = sqlContextNew.read.format("com.cloudant.spark").option("cloudant.host","AAA-HOST").option("cloudant.username", "BBB-USERNAME"). option("cloudant.password","CCC-PASSWORD").load("booksdata") 

は、エラーメッセージがある: 16/07/22夜11時01分51秒INFO JsonStoreDataAccess:それは、スプレーが含まSparkEnv ActorSystemを再利用するように 16/07/22午後11時01分52秒ERROR ActorSystemImpl:スレッドからキャッチされない致命的なエラー[sparkDriverActorSystem-akka.actor.default-ディスパッチャ-2] ActorSystem [sparkDriverActorSystem] java.lang.ExceptionInInitializerErrorによって引き起こさエラー私のローカルスパーククラスタ(PySpark)からCloudant DBを接続中に使用して火花cloudantコネクタ

をシャットダウン:java.lang.NoSuchMethodError:scala.Predef $ ArrowAssoc $ .extension $$ minus $ greater(Ljava/lang/Object; Ljava/lang/Object;)Lscala/Tuple2org.parboiled.scala.Parserでの3210 $ class.rule(Parser.scala:73) org.parboiled.scala.Parser $ class.rule(Parser.scala:46) at spray.http.parser.HttpParser $ .rule(HttpParser.scala:29) at spray.http.parser.CORSHeaders $ class。$ timesAccess $ minusControl $ minusMax $ minusAge(CORSHeaders.scala:59) at spray.http.parser.HttpParser $。$ timesAccess $ minusControl $ minusMax $ minusAge(HttpParser.scala:29)

答えて

0

このエラーはScalaのバージョンが間違っていると思われます。あなたが使っているスカラのバージョンは何ですか?スパークとスパーククラウンタントの場合は、Scala 2.10が必要です。

+0

こんにちは@Mayya Sharipova、Spark-1.6.0-bin-hadoop2.6(Scala 2.10)を使用しています。スパーククラウンタントコネクタバージョンは、spark-cloudant-1.6.2-s_2.10.jarです。私は何が起こっているのだろうかと思っています。あなたがチェックするべき他の点があるかどうかを教えてください。私は同じことを試みます。あなたの更新をありがとう。 –

+0

@PariMarguお使いのコンピュータにScalaのバージョンがインストールされていますか? –

+0

こんにちは@Mayya Sharipova、Scalaバージョン2.10.5が私のコンピュータにインストールされています。 –

関連する問題