2016-09-05 4 views
2

Apache Sparkでpluralsightコースをやっていますが、ある時点でHadoopストリーミングへの依存関係を設定するよう求められています。私は私のbuild.sbtファイルにそれを追加しましたが、私は取得しています結果は予想外です:それはのように見えるのエラーメッセージから私のbuild.sbtがバージョン2.11のhadoop-streamingを探しているのはなぜですか?

Build.sbt

name := "SparkPlayground" 

version := "1.0" 

scalaVersion := "2.11.8" 

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0" % "provided" 
libraryDependencies += "com.github.scala-incubator.io" %% "scala-io-core" % "0.4.3" 
libraryDependencies += "com.github.scala-incubator.io" %% "scala-io-file" % "0.4.3" 
libraryDependencies += "org.apache.hadoop" %% "hadoop-streaming" % "2.7.0" 

エラーメッセージ

SBT 'SparkPlayground' project refresh failed 
    Error:Error:Error while importing SBT project:<br/>...<br/><pre>[info] Resolving org.scala-sbt#task-system;0.13.8 ... 

[info] Resolving org.scala-sbt#tasks;0.13.8 ... 

[info] Resolving org.scala-sbt#tracking;0.13.8 ... 

[info] Resolving org.scala-sbt#cache;0.13.8 ... 

[info] Resolving org.scala-sbt#testing;0.13.8 ... 

[info] Resolving org.scala-sbt#test-agent;0.13.8 ... 

[info] Resolving org.scala-sbt#test-interface;1.0 ... 

[info] Resolving org.scala-sbt#main-settings;0.13.8 ... 

[info] Resolving org.scala-sbt#apply-macro;0.13.8 ... 

[info] Resolving org.scala-sbt#command;0.13.8 ... 

[info] Resolving org.scala-sbt#logic;0.13.8 ... 

[info] Resolving org.scala-sbt#precompiled-2_8_2;0.13.8 ... 

[info] Resolving org.scala-sbt#precompiled-2_9_2;0.13.8 ... 

[info] Resolving org.scala-sbt#precompiled-2_9_3;0.13.8 ... 

[trace] Stack trace suppressed: run 'last *:update' for the full output. 

[trace] Stack trace suppressed: run 'last *:ssExtractDependencies' for the full output. 

[error] (*:update) sbt.ResolveException: unresolved dependency: org.apache.hadoop#hadoop-streaming_2.11;2.6.0: not found 

[error] (*:ssExtractDependencies) sbt.ResolveException: unresolved dependency: org.apache.hadoop#hadoop-streaming_2.11;2.6.0: not found 

[error] Total time: 13 s, completed Sep 5, 2016 2:05:47 AM 

何らかの理由でsbtがhadoop-streaming_2.11を探していますが、この2.11がどこから来るのか分かりません。私はScalaとsbtの新機能ですので、どこかで間違ったタイプミスがあったと思います。

答えて

4

"groupID%artifactID%リビジョンではなくgroupID %% artifactID%リビジョンを使用している場合groupID)、sbtはプロジェクトのScalaバージョンをアーティファクト名に追加します。 "

SBT manual

ここで%を使用してください。

+0

これは私の他の依存関係を壊すことはありませんどのように?彼らは本当にスカラーのバージョンを追加していますか?それは奇妙に思える。 –

+0

http://mvnrepository.com/にアクセスして、他の依存関係をxx_2.10の形で見つけることができます。 – lege

+0

Hadoop-streamingはJavaライブラリであり、スカラーに依存しません。しかし、スカラライブラリはあなたが使用しているスカラバージョン用にコンパイルする必要があります(2.11.8の2.11部分) – thoredge

関連する問題