I am getting the following error while connecting Cloudant DB from my local Spark cluster(PySpark) using spark-cloudant connector.
The spark-cloudant connector is: https://spark-packages.org/package/cloudant-labs/spark-cloudant
I am started my PySpark with following command,
pyspark2.cmd --jars "all jars for spark-cloudant connector"
The code I am using,
sqlContextNew = SQLContext(sc)
booksDataDF = sqlContextNew.read.format("com.cloudant.spark").option("cloudant.host","AAA-HOST").option("cloudant.username", "BBB-USERNAME"). option("cloudant.password","CCC-PASSWORD").load("booksdata")
は、エラーメッセージがある: 16/07/22夜11時01分51秒INFO JsonStoreDataAccess:それは、スプレーが含まSparkEnv ActorSystemを再利用するように 16/07/22午後11時01分52秒ERROR ActorSystemImpl:スレッドからキャッチされない致命的なエラー[sparkDriverActorSystem-akka.actor.default-ディスパッチャ-2] ActorSystem [sparkDriverActorSystem] java.lang.ExceptionInInitializerErrorによって引き起こさエラー私のローカルスパーククラスタ(PySpark)からCloudant DBを接続中に使用して火花cloudantコネクタ
をシャットダウン:java.lang.NoSuchMethodError:scala.Predef $ ArrowAssoc $ .extension $$ minus $ greater(Ljava/lang/Object; Ljava/lang/Object;)Lscala/Tuple2org.parboiled.scala.Parserでの3210 $ class.rule(Parser.scala:73) org.parboiled.scala.Parser $ class.rule(Parser.scala:46) at spray.http.parser.HttpParser $ .rule(HttpParser.scala:29) at spray.http.parser.CORSHeaders $ class。$ timesAccess $ minusControl $ minusMax $ minusAge(CORSHeaders.scala:59) at spray.http.parser.HttpParser $。$ timesAccess $ minusControl $ minusMax $ minusAge(HttpParser.scala:29)
こんにちは@Mayya Sharipova、Spark-1.6.0-bin-hadoop2.6(Scala 2.10)を使用しています。スパーククラウンタントコネクタバージョンは、spark-cloudant-1.6.2-s_2.10.jarです。私は何が起こっているのだろうかと思っています。あなたがチェックするべき他の点があるかどうかを教えてください。私は同じことを試みます。あなたの更新をありがとう。 –
@PariMarguお使いのコンピュータにScalaのバージョンがインストールされていますか? –
こんにちは@Mayya Sharipova、Scalaバージョン2.10.5が私のコンピュータにインストールされています。 –