静的トレーニングデータを使用したStreamingKmeansモデルの初期化

Question

トレーニングデータセットを使用してSpark Kmeansモデルを構築できます。私のモデルを新しいデータに適応させたいので、Spark StreamingKmeansは私にとって素晴らしいようです。

しかし、スパークのStreamingKmeansはデータのみで、ストリーミングに訓練することができると思われます。デフォルトのkmeansモデルで初期化し、静的なトレーニングデータを訓練した後、モデルを新しいストリーミングデータに時間をかけて訓練する方法はありません。

が静的​​なトレーニングデータを使用してスパークでの関数kmeansモデルを初期化する方法が存在し、StreamingKmeansを使用して、新しいデータに時間をかけて、それを訓練していますか？

Answer 1

は、ドキュメントによると、StreamingKMeansはsetInitialCenters(centers: Array[Vector], weights: Array[Double])方法があります。そして、静的に訓練されたKMeansModelはclusterCenters(): Array[Vector]メソッドを持っています。したがって、事前にトレーニングされたKMeansModelのclusterCenters()でStreamingKMeansを初期化できます。

Answer 2

あなたはまだその静的なトレーニングデータへのアクセスを持っている場合、あなたはDSTREAMでStreamingKMeansにそれを送ることができます。それ以外の場合は、StreamingKMeansオブジェクトを初期化する別の方法はないと思います。