私はspongでmongo-hadoopクライアント(r1.5.2)を使用して、このリンクに続くmongoDBとbsonのデータを読み込みます:https://github.com/mongodb/mongo-hadoop/wiki/Spark-Usage。これまではmongoDBから問題なく読める。しかし、bsonの設定はコンパイルできません。助けてください。spongはmongo-hadoop-connectorのBSONFileInputFormatで新しいAPIHadoopRDDをコンパイルできません
Scalaでは私のコード:
dataConfig.set("mapred.input.dir", "path.bson")
val documents = sc.newAPIHadoopRDD(
dataConfig,
classOf[BSONFileInputFormat],
classOf[Object],
classOf[BSONObject])
エラー:
Error:(56, 24) inferred type arguments [Object,org.bson.BSONObject,com.mongodb.hadoop.mapred.BSONFileInputFormat] do not conform to method newAPIHadoopRDD's type parameter bounds [K,V,F <: org.apache.hadoop.mapreduce.InputFormat[K,V]]
val documents = sc.newAPIHadoopRDD(
^
ではなくMongoInputFormatのBSONFileInputFormatを使用してみてください。また、使用しているmongo-hadoopコネクタのバージョンを指定してください。 –