Sparkで.map関数内の整数を正しく合算する方法は？

Question

私はScalaとSparkには新しく、SparkでペアのようなRDDを作成し、各行のキーとしてIntを割り当て、+1を合計することを試みました。

val mapUrls = urls.map{ 
var cont = 0 
x => 
cont += 1 
(cont,x) 
} 

問題は、何らかの形で、cont変数が一定の時間の後に1に戻ることです。

私は間違っていますか？

Answer 1

これは何ですか？

urls.zipWithIndex.map(_.swap) 

あなたのコードは正しく動作しません。 Sparkは分散フレームワークであり、共有メモリは存在しません。各タスクには独自のアップデートがありますcont。