sklearn.svm.svcのpredict_proba（）関数はどのように内部的に動作しますか？

Question

私はsklearn.svm.svcをscikit-learnから使用して、バイナリ分類を行います。確率予測を得るために、そのpredict_proba（）関数を使用しています。 predict_proba（）が内部的に確率を計算する方法を教えてもらえますか？

Answer 1

Scikit-learnはLibSVMを内部的に使用し、this note by the LibSVM authorsに記載されているようにPlatt scalingを使用して、クラス予測に加えて確率を生成するようにSVMを調整します。

プラットスケーリングは、まずパラメータ・ベクトルをとBようf(X)が超平面（scikit学習者からのサンプルの符号付き距離である

P(y|X) = 1/(1 + exp(A * f(X) + B)) 

それを最適化する、いつものようにSVMを訓練する必要decision_function方法）。この定義のlogistic sigmoidは、ロジスティック回帰とニューラルネットが決定関数を確率推定に変えるのに使用するのと同じ機能です。

Bパラメータ、「インターセプト」または「バイアス」など、あなたがそれを呼びたいと思うものは、このモデルからの確率推定に基づく予測がSVM決定関数から得られるものと矛盾することがありますf。例えば。 f(X) = 10とすると、Xの予測は肯定的です。 B = -9.9とA = 1の場合は、P(y|X) = .475です。私は薄い空気からこれらの数字を引き出していますが、これは実際に起こりうることに気付いています。

効果的に、Plattスケーリングは、クロスエントロピー損失関数の下でSVMの出力の上に確率モデルを訓練する。このモデルがオーバーフィットするのを防ぐために、内部の5倍のクロスバリデーションを使用しています。つまり、probability=TrueのトレーニングSVMは、バニラの確率的でないSVMよりもかなり高価です。

Answer 2

は、実際に私はAとBの値は、モデルファイル（probAとprobB）で見つけることができるここで

'double fApB = decision_value*A+B; 
if (fApB >= 0) 
    return Math.exp(-fApB)/(1.0+Math.exp(-fApB)); 
else 
    return 1.0/(1+Math.exp(fApB)) ;' 

彼らは確率に判定値を変換するには、このコードを使用することをわずかに異なる答えを見つけました。 確率を決定値に変換してヒンジ損失に変換する方法を提供します。

ln（0）= -200を使用します。