Spark DataFrame APIロジスティック回帰モデルの代入を調整する

Question

私はSparkのロジスティック回帰をトレーニングしています。しかし、私の訓練データの特徴から、モデルを手動で調整する必要があります。つまり、切片を変更する必要があります。 RDD APIで行うのは簡単だった

- ちょうど新しいLogisticRegressionModelをインスタンス化：

val intercept = model.intercept() + adjustment 
val model = new LogisticRegressionModel(model.weights(), intercept) 

しかし、データフレームのAPIでLogisticRegressionModelコンストラクタはプライベート行われました。モデルを手動で調整するにはどうすればよいですか？

Answer 1

私は今日の同じ問題を抱えていましたが、テストモードで何が起きようとしていたので、私は気にしません。あなたのモデルから係数を取得し、それで、あなたがSparkで使っているcode（BLAS.dot、marginおよびscoreを探して）であなたの予測を手作業で行います。ある時点では、彼らはBLAS.dotを使用し、よくBLASはスパークするために非公開です。同じように、dotのコードを取得し、SparseVector/DenseVectorを処理してください。汚いですが動作します。