エラー：値succinctはorg.apache.spark.rdd.RDDのメンバーではありません[String]

Question

検索メカニズムのためにsuccinctRDDを試しています。以下 は、私はドキュメントごとにしようとしていますものです：

import edu.berkeley.cs.succinct.kv._ 
val data = sc.textFile("file:///home/aman/data/jsonDoc1.txt") 
val succintdata = data.succinct.persist() 

リンクはここにある誰もが指摘することができれば...私は取得していますsuccint RDD

エラーが

<console>:32: error: value succinct is not a member of org.apache.spark.rdd.RDD[String] 
     val succintdata = data.succinct.persist() 

を下回っていますここでの問題、またはこれに先立つべきステップ。

これは基本的にはビルドビルドです。

name := "succinttest" 

version := "1.0" 

scalaVersion := "2.11.7" 
resolvers += "Spark Packages Repo" at "http://dl.bintray.com/spark-packages/maven" 
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.5.2" 
libraryDependencies += "org.apache.kafka" % "kafka_2.11" % "0.8.2.2" 
libraryDependencies += "org.apache.spark" % "spark-streaming_2.11" % "1.5.2" 
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "1.5.2" 
libraryDependencies += "amplab" % "succinct" % "0.1.7" 
libraryDependencies += "org.apache.hadoop" % "hadoop-common" % "2.6.0" excludeAll ExclusionRule(organization = "javax.servlet") 

Answer 1

これはスカラで、典型的な暗黙的な変換の問題です。

ライブラリをインポート：

import edu.berkeley.cs.succinct.kv._ 

は、その後、あなたは、このパッケージのすべてのクラス/メソッドをインポートして、すべての暗黙さを。あなたがソースにpackage.objectをチェックするのであれば、： https://github.com/amplab/succinct/blob/master/spark/src/main/scala/edu/berkeley/cs/succinct/kv/package.scala

を...そして、あなたは次の暗黙的な変換を持っていることを実感します：

implicit class SuccinctContext(sc: SparkContext) { 
    def succinctKV[K: ClassTag](filePath: String, storageLevel: StorageLevel = StorageLevel.MEMORY_ONLY) 
    (implicit ordering: Ordering[K]) 
    : SuccinctKVRDD[K] = SuccinctKVRDD[K](sc, filePath, storageLevel) 
} 

あなたが新しいメソッドを持っていることを意味していますSparkContextを使用して、テキストファイルから新しいSuccinctKVRDDを作成します。だから、次のコードを試してみてください。

import edu.berkeley.cs.succinct.kv._ 
val data = sc.succinctKV("file:///home/aman/data/jsonDoc1.txt") 

をそして、あなたはなど、検索、filterByValue、同様に必要なすべての操作を行うためにsuccint RDDを持っています： https://github.com/amplab/succinct/blob/master/spark/src/main/scala/edu/berkeley/cs/succinct/kv/SuccinctKVRDD.scala