Mavenを使用したApache sparkエラー

Question

現在Apache Sparkを学習しようとしています。私はScalaやSBTに慣れていないので、MavenとJavaを使用しています。

また、私が試したすべての例では、2000行以上の「pom.xml」ファイルがあるようです。多くの依存関係が必要ですか？

Here's私が試した例です。 Here's私の現在の "pom.xml"ファイル。 これは私が取得していますエラーです：

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object; 
at org.apache.spark.sql.SparkSession$Builder.config(SparkSession.scala:666) 
at org.apache.spark.sql.SparkSession$Builder.appName(SparkSession.scala:657) 
at misc.apache2.main(apache2.java:47) 
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
at java.lang.reflect.Method.invoke(Method.java:498) 
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144) 

Process finished with exit code 1 

はまた、私はApacheのスパーク用のMavenプロジェクトを使用している場合、私はbuild.sbtファイルを持っている必要がありますか？

現在あなたがスパークの異なるバージョンを使用している、私が見たものについてはIntelliJの16.1.3、Windowsの10

Answer 1

で実行されています。

pom.xmlからは、バージョン1.2.0のSpark Core、バージョン2.0.0のSpark Sqlおよびバージョン1.6.1のSpark Hiveを使用しています。

すべてのスパークの依存関係のためにスパークの同じバージョンを使用してみてください：

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-core_2.11</artifactId> 
    <version>2.0.0-preview</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_2.11</artifactId> 
    <version>2.0.0-preview</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-hive_2.11</artifactId> 
    <version>2.0.0-preview</version> 
</dependency>