Sparkでmongo dbのreadConfigにuriとデータベースを追加するには？

Question

以下のコードでは、オプションマップを使用してreadConfigにmongo uriとデータベースを渡そうとしました。しかし、それはuriやデータベースが見つかりませんエラーを与える。

`

public JavaMongoRDD<Document> getRDDFromDS(DataSourceInfo ds, String collectionName){ 
     String mongoDBURI = "mongodb://" 
       + PropertiesFileEncryptorUtil.decryptData(ds.getDbUsername()) + ":" 
       + PropertiesFileEncryptorUtil.decryptData(ds.getDbPassword()) + "@" 
       + ds.getHostName() + ":" + ds.getPort(); 
     Map<String, String> readOverrides = new HashMap<String, String>(); 
     readOverrides.put("uri", mongoDBURI); 
     readOverrides.put("database", ds.getDbName()); 
     readOverrides.put("collection", collectionName); 
     readOverrides.put("partitioner", mongoDBInputPartitioner); 
     readOverrides.put("partitionKey", mongoDBPartitionKey); 
     readOverrides.put("partitionSizeMB", mongoDBInputPartitionSize); 

     ReadConfig readConf = ReadConfig.create(jsc).withOptions(readOverrides); 
     JavaMongoRDD<Document> readRdd = MongoSpark.load(jsc, readConf); 
     return readRdd; 
    }` 

URIとデータベースを渡すための正しい方法は何ですか。 ありがとうございます。

あなたが設定変数によってスパークする設定パラメータを渡すことができます

Answer 1

：

val sc = new SparkContext(conf) 

val readConf = ReadConfig(sc) 

は、その後、あなたがから値を読み取ることができます：あなたが火花コンテキストに設定変数を与える必要がその後

val conf = new SparkConf().setAppName("YourAppName").setMaster("local[2]").set("spark.executor.memory","1g") 
     .set("spark.app.id","YourSparkId") 
     .set("spark.mongodb.input.uri","mongodb://127.0.0.1/yourdatabase.yourInputcollection?readPreference=primaryPreferred") 
     .set("spark.mongodb.output.uri","mongodb://127.0.0.1/yourdatabase.yourOutputcollection") 

このようなmongo：

val rdd = sc.loadFromMongoDB(readConfig = readConfig) 

このように保存します。

rdd.map(someMapFunction).saveToMongoDB() 

私は私の答えは、あなたが使用しているスパークコネクタのバージョンは何