2017-01-02 4 views
0

私は花瓶のコンテンツにアクセスするためのsparkアプリケーションを構築しようとしています。build.sbtにsap hana vora external jarを含める方法

私のScalaのコードは、私のビルドで私はサードパーティのjarファイルを含める

import org.apache.spark.sql._ 
import org.apache.spark.SparkContext._ 
import org.apache.spark.SparkConf 
import org.apache.spark.SparkContext 

object Vora_Test{ 
def main(args: Array[String]) { 
val sconf = new SparkConf().setAppName("VoraTestApp") 
val sc = new SparkContext(sconf) 
val sqlc = new SapSQLContext(sc) 
val queryResult = sqlc.sql("SELECT * from DATA") 
queryResult.collect().foreach(println) 

} 
} 

"スパーク-SAP-データソース-1.2.33-assembly.jar" です。私は

name := "VoraApp" 

version := "1.0" 

scalaVersion := "2.10.4" 



libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "1.5.2", 

"com.sap.spark" % "extensiondist" % "1.2.37" from "file:///local/file/loc/lib/spark-sap-datasources-1.2.33-assembly.jar") 

何も働いていない、次のbuild.sbtを使用SBTパッケージ、SBTアセンブリ

を試してみました。私は以下のエラーが発生しています

1スカラソースをローカル/ファイル/ loc/target/scala-2.10/classesにコンパイル... [エラー]不正なシンボリックリファレンス。 ExtendableSQLContext.classのシグネチャは、使用できないorg.apache.spark.sqlパッケージのSQLContext [エラー]型を参照しています。 [エラー]現在のクラスパスまたはバージョン [エラー]のバージョンで完全に欠落している可能性があります。クラスパスがExtendableSQLContext.classをコンパイルするときに使用されたバージョンと互換性がない可能性があります。

このエラーを解決する方法。私はscala、sbt、spark、voraの新人です。

答えて

1

あなたはこの依存関係が欠落することがあります

"org.apache.spark" % "spark-sql_2.11" % "1.5.1"

+0

感謝。それは私を助けた。 – Subramanian

0

は、ファイルへの実際のパスということですか?それは私には珍しい見えます...

ファイル:///local/file/loc/lib/spark-sap-datasources-1.2.33-assembly.jar

+0

私はそれをfat jarに含めるためにbuild.sbtを変更する必要があります – Subramanian

関連する問題