Spark MLlibリコメンダーエンジンのメソッド

Question

私はpySpark MLlibと協調フィルタリングのボックスからALSのメソッドを使用しています。ちょうど不思議なことに、スパークは、（距離を計算するための）フィルタリングを行ういくつかの他の方法を提供していますか？例えば、PearsonやCosine？彼らはスパーク環境で行うことができますか？

多くの感謝！

Answer 1

ありSparkにはCosineの類似性の実装があります。 Scalaでは

は

https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/mllib/CosineSimilarity.scala 

例

// Load and parse the data file. 
    val rows = sc.textFile(params.inputFile).map { line => 
     val values = line.split(' ').map(_.toDouble) 
     Vectors.dense(values) 
    }.cache() 
    val mat = new RowMatrix(rows) 
    val exact = mat.columnSimilarities()