オンラインバックプロパゲーション重量更新の運動量項を追加するか？

Question

2層ネットワークのANNを実装しましたが、体重更新コードを勢いよく変更する必要がありますが、どうすれば更新できるのかを知る必要があります。以下は重量更新のみのコードスナップです。下のコードは、見た各例の重みを更新します。hiddenWightsは隠れ層の重みです。また、outputWeightsは出力層の重みです。

for examplen = 1: nTrainingExamples 
      inputVector = inputs(:,examplen); 
      HiddenLayerOutput = sigmoid(hiddenWeights * inputVector); 
      OutputLayerOutput = sigmoid(outputWeights * HiddenLayerOutput); 

      l2_error = OutputLayerOutput - targets(:, examplen); 
      l2_delta = learningRates(1, i) .* (OutputLayerOutput .* (1 - OutputLayerOutput)) .* l2_error; 
      l2_v = mu * l2_v - l2_delta * t; 

      l1_delta = learningRates(1, i) .* (HiddenLayerOutput .* (1 - HiddenLayerOutput)) .* (outputWeights' * l2_delta); 
      l1_v = mu * l1_v - l1_delta * t; 
      % weights = weights + v 
      outputWeights = outputWeights + (l2_v*HiddenLayerOutput'); 
      hiddenWeights = hiddenWeights + (l1_v*inputVector'); 
     end 

Answer 1

私たちの会話からは、古典的な運動量法（Nestrovではなく）を実装したいと思っています。したがって、追加のパラメータが必要です - 速度vと時間tとモメンタムmu定数です。

あなたが 0にあなたの速度を設定する必要が学習の開始時に

：

v = 0 

と（例えば0.9）とmu（例えば0.1に設定します）tのいくつかの値を選択します。あなたは、以下のルールに従って、あなたの重みを変更する必要があります訓練の各反復中

：

v = mu * v - delta * t 
weights = weights + v 

パラメータmuとtは、メタパラメータであり、あなたはグリッドまたはランダム探索によってそれらの良好な値を見つけることができます。