Apache Sparkの列で一意の要素を見つける

Question

次のようなデータセットがあります。

Id |興味
1 |乗馬、読書、料理
2 |ライディング、ランニング
3 |旅行、

を調理することが

乗り、2
読み取り、1つの
料理などの利害関係の概要を取得することが可能であり、2
ランニング、1つの
移動、1

Answer 1

をお試しください以下。ここ

val firstRDD = sc.textFile("/path_to_file/file.txt").map(line =>line.split("\\|")(1)) 

val resultRDD=firstRDD.flatMap(line => line.split(",")).map(word => (word,1)).reduceByKey(_+_) 

resultRDD.collect 

スカラからの出力は

res23: Array[(String, Int)] = Array((reading,1), (cooking,2), (travelling,1), (running,1), (riding,2)) 

シェルであります