[Octave] fminuncを使用しても常に一貫した解が得られるとは限りません

Question

1-e^xのモーターのステップ応答をモデル化するための係数を見つけることを試みています。私がモデルに使用している方程式は

a(1)*t^2 + a(2)*t^3 + a(3)*t^3 + ... 

が

は時々大丈夫うまくいくの係数を見つけるために、fminuncを使用して（これは、モータパラメータを解くために使用される研究論文で導出された）形のものであり、私は良い結果を得て、トレーニングデータをかなりうまく一致させます。他の時には、返された係数は恐ろしい（出力がすべきものよりも非常に高く、桁違いに小さい）。これは特に、高次の用語を使用し始めたときに発生します。x^8以上（x^9、x^10、x^11など）を使用するモデルを使用すると、常に不正な結果が生成されます。

時々動作するので、私の実装が間違っているとは思えません。私は、グラデーションを提供しながら、fminuncを試しましたが、グラデーションも提供していませんが、違いはありません。私はpolyfitのような係数を解くために他の関数を使ってみましたが、その例では1から最高位の項にまで引き上げられた項を持っていなければなりませんが、私が使っているモデルの電力は2 。

clear; 

%Overall Constants 
max_power = 7; 

%Loads in data 
%data = load('TestData.txt'); 
load testdata.mat 

%Sets data into variables 
indep_x = data(:,1); Y = data(:,2); 

%number of data points 
m = length(Y); 

%X is a matrix with the independant variable 
exps = [2:max_power]; 
X_prime = repmat(indep_x, 1, max_power-1); %Repeats columns of the indep var 
X = bsxfun(@power, X_prime, exps); 

%Initializes theta to rand vals 
init_theta = rand(max_power-1,1); 

%Sets up options for fminunc 
options = optimset('MaxIter', 400, 'Algorithm', 'quasi-newton'); 

%fminunc minimizes the output of the cost function by changing the theta paramaeters 
[theta, cost] = fminunc(@(t)(costFunction(t, X, Y)), init_theta, options) 

% 
Y_line = X * theta; 

figure; 
hold on; plot(indep_x, Y, 'or'); 
hold on; plot(indep_x, Y_line, 'bx'); 

そしてここcostFunction次のとおりです：

function [J, Grad] = costFunction (theta, X, Y) 
    %# of training examples 

    m = length(Y); 

    %Initialize Cost and Grad-Vector 
    J = 0; 
    Grad = zeros(size(theta)); 

    %Poduces an output based off the current values of theta 
    model_output = X * theta; 

    %Computes the squared error for each example then adds them to get the total error 
    squared_error = (model_output - Y).^2; 
    J = (1/(2*m)) * sum(squared_error); 

    %Computes the gradients for each theta t 
    for t = 1:size(theta, 1) 
     Grad(t) = (1/m) * sum((model_output-Y) .* X(:, t)); 
    end 

endfunction 

すべてのヘルプやアドバイスをいただければ幸いです

は、ここでの主なコードです。あなたの費用関数に正則を追加

Answer 1

試してみてください。

function [J, Grad] = costFunction (theta, X, Y, lambda) 
    m = length(Y); 

    %Initialize Cost and Grad-Vector 
    J = 0; 
    Grad = zeros(size(theta)); 

    %Poduces an output based off the current values of theta 
    model_output = X * theta; 

    %Computes the squared error for each example then adds them to get the total error 
    squared_error = (model_output - Y).^2; 
    J = (1/(2*m)) * sum(squared_error); 
    % Regularization 
    J = J + lambda*sum(theta(2:end).^2)/(2*m); 


    %Computes the gradients for each theta t 
    regularizator = lambda*theta/m; 
    % overwrite 1st element i.e the one corresponding to theta zero 
    regularizator(1) = 0; 
    for t = 1:size(theta, 1) 
     Grad(t) = (1/m) * sum((model_output-Y) .* X(:, t)) + regularizator(t); 
    end 

endfunction 

正則化項lambdaは学習率を制御するために使用されます。ラムダ= 1で始める。ラムダの値を大きくするほど、学習が遅くなります。あなたが描く行動が持続するならば、ラムダを増やしてください。ラムダが高くなった場合は、反復回数を増やす必要があります。 また、データの正規化と、thetaを初期化するためのヒューリスティック - すべてのthetaを0.1に設定することは、ランダムより優れている可能性があります。それ以外の場合は、トレーニングからトレーニングまでの再現性が向上します。