rdbmsデータベースにスパーク出力を保存する方法は？

Question

私は最近sparkの使用を開始しました。ファイルを処理してpostgreデータベースの出力を保存する必要があるユースケースがあります。私はファイルを読み込んで処理することができます。処理されたデータをdbに保存することはできません。私はどのように出力をdbに保存することができます示唆してくださいいくつかの1つ？

おかげで,,,,

Answer 1

データベースはすべての労働者のノードからアクセス可能であるならば、あなたは出力を保存するためにforeachPartitionを使用することができます。擬似コード：

rdd.foreachPartition { records => 
    // Connect to the database 
    records.foreach { r => 
    // Loop over records and save 
    } 
    // Close the connection to the db 
}