私は花瓶のコンテンツにアクセスするためのsparkアプリケーションを構築しようとしています。build.sbtにsap hana vora external jarを含める方法
私のScalaのコードは、私のビルドで私はサードパーティのjarファイルを含める
import org.apache.spark.sql._
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object Vora_Test{
def main(args: Array[String]) {
val sconf = new SparkConf().setAppName("VoraTestApp")
val sc = new SparkContext(sconf)
val sqlc = new SapSQLContext(sc)
val queryResult = sqlc.sql("SELECT * from DATA")
queryResult.collect().foreach(println)
}
}
"スパーク-SAP-データソース-1.2.33-assembly.jar" です。私は
name := "VoraApp"
version := "1.0"
scalaVersion := "2.10.4"
libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "1.5.2",
"com.sap.spark" % "extensiondist" % "1.2.37" from "file:///local/file/loc/lib/spark-sap-datasources-1.2.33-assembly.jar")
何も働いていない、次のbuild.sbtを使用SBTパッケージ、SBTアセンブリ
を試してみました。私は以下のエラーが発生しています
1スカラソースをローカル/ファイル/ loc/target/scala-2.10/classesにコンパイル... [エラー]不正なシンボリックリファレンス。 ExtendableSQLContext.classのシグネチャは、使用できないorg.apache.spark.sqlパッケージのSQLContext [エラー]型を参照しています。 [エラー]現在のクラスパスまたはバージョン [エラー]のバージョンで完全に欠落している可能性があります。クラスパスがExtendableSQLContext.classをコンパイルするときに使用されたバージョンと互換性がない可能性があります。
このエラーを解決する方法。私はscala、sbt、spark、voraの新人です。
感謝。それは私を助けた。 – Subramanian