オンライン学習が可能なpythonサポートベクターマシンライブラリがありますか？

Question

サポートベクターマシンをPythonコードから使用できるライブラリがいくつかありますが、私はオンラインで教えることができるライブラリを探しています（これはすべてのデータを一度に与える必要はありません）。

ありますか？

Answer 1

LibSVMには、SWIG経由で動作するpythonラッパーが含まれています。その分布から

例svm-test.py：

#!/usr/bin/env python 

from svm import * 

# a three-class problem 
labels = [0, 1, 1, 2] 
samples = [[0, 0], [0, 1], [1, 0], [1, 1]] 
problem = svm_problem(labels, samples); 
size = len(samples) 

kernels = [LINEAR, POLY, RBF] 
kname = ['linear','polynomial','rbf'] 

param = svm_parameter(C = 10,nr_weight = 2,weight_label = [1,0],weight = [10,1]) 
for k in kernels: 
    param.kernel_type = k; 
    model = svm_model(problem,param) 
    errors = 0 
    for i in range(size): 
     prediction = model.predict(samples[i]) 
     probability = model.predict_probability 
     if (labels[i] != prediction): 
      errors = errors + 1 
    print "##########################################" 
    print " kernel %s: error rate = %d/%d" % (kname[param.kernel_type], errors, size) 
    print "##########################################" 

param = svm_parameter(kernel_type = RBF, C=10) 
model = svm_model(problem, param) 
print "##########################################" 
print " Decision values of predicting %s" % (samples[0]) 
print "##########################################" 

print "Numer of Classes:", model.get_nr_class() 
d = model.predict_values(samples[0]) 
for i in model.get_labels(): 
    for j in model.get_labels(): 
     if j>i: 
      print "{%d, %d} = %9.5f" % (i, j, d[i,j]) 

param = svm_parameter(kernel_type = RBF, C=10, probability = 1) 
model = svm_model(problem, param) 
pred_label, pred_probability = model.predict_probability(samples[1]) 
print "##########################################" 
print " Probability estimate of predicting %s" % (samples[1]) 
print "##########################################" 
print "predicted class: %d" % (pred_label) 
for i in model.get_labels(): 
    print "prob(label=%d) = %f" % (i, pred_probability[i]) 

print "##########################################" 
print " Precomputed kernels" 
print "##########################################" 
samples = [[1, 0, 0, 0, 0], [2, 0, 1, 0, 1], [3, 0, 0, 1, 1], [4, 0, 1, 1, 2]] 
problem = svm_problem(labels, samples); 
param = svm_parameter(kernel_type=PRECOMPUTED,C = 10,nr_weight = 2,weight_label = [1,0],weight = [10,1]) 
model = svm_model(problem, param) 
pred_label = model.predict(samples[0]) 

Answer 2

は1のことを聞いていないことがあります。しかし、本当にオンライン学習が必要ですか？私はかなり長い間SVMを使用しており、オンライン学習を使用しなければならない問題に遭遇したことはありません。通常、私は訓練の例の変更の数（おそらく100または1000）に閾値を設定し、すべてをバッチ・リトレインします。

問題がオンライン学習を絶対に必要とする規模にある場合は、vowpal wabbitをご覧ください。

Olivier GriselLaSVM周りのctypesラッパーを使用することが提案：コメントの後

は、以下の再編集します。私は以前LaSVMについて知らなかったので、それはかなりクールに見える、私は自分の問題でそれを試して興味を持っている:)。

Python-VM（組み込みデバイス、ロボット）のみを使用することに限定されている場合は、SVMの近くで実行する投票/平均パーセプトロンを使用することをお勧めしますが、デフォルトでは

ElefantにはオンラインSVMコードがいくつかあります。

Answer 3

なぜオンラインでトレーニングするのですか？トレーニングインスタンスを追加すると、通常、SVMに関連する二次計画問題を再解決する必要があります。

これを処理する方法は、SVMをバッチモードで訓練することです。新しいデータが利用できる場合は、これらのデータポイントが超平面の[-1、+1]マージンにあるかどうかを確認します。そうであれば、すべての古いサポートベクトルとマージンに収まる新しいトレーニングデータを使用してSVMを再学習します。

もちろん、後でサポートベクターとなる点がいくつか破棄される可能性があるため、結果はすべてのデータのバッチトレーニングと比べて若干異なる場合があります。だから、なぜあなたはSVMのオンライントレーニングをしたいのですか？

Answer 4

そこにはPythonバインディングはありませんが、 http://leon.bottou.org/projects/sgdに記載されているアルゴリズムはオンラインで訓練されており、簡単に再実装できます。数が少ない。

Answer 5

Pegasosは、非常にうまく動作するオンラインSVMアルゴリズムです。特定のPythonバインディングがなくても実装するのはかなり簡単です。著者のウェブサイトにはC implementationがあり、それは適応性も埋め込み性もあります。