numpy：softmax関数の導関数を計算する

Question

MNISTの単純な3層ニューラルネットワークでbackpropagationを理解しようとしています。

weightsとbiasという入力層があります。ラベルはMNISTなので10クラスベクトルです。

第2層はlinear tranformです。第3層は、出力を確率として得るためにsoftmax activationです。

Backpropagationは、各ステップで微分を計算し、これを勾配と呼びます。

以前のレイヤーでは、globalまたはpreviousのグラディエントがlocal gradientに追加されます。私は、誘導体はに関連して説明されるトラブルソフトマックスの説明を通過し、その誘導体、さらにはソフトマックス自体

def softmax(x): 
    """Compute the softmax of vector x.""" 
    exps = np.exp(x) 
    return exps/np.sum(exps) 

のコードサンプルを与えるオンラインsoftmax

いくつかのリソースのlocal gradientを計算が生じていますi = jおよびi != jの場合。これは私が作ってみた簡単なコードスニペットで、私の理解を確認するために期待していた。

def softmax(self, x): 
    """Compute the softmax of vector x.""" 
    exps = np.exp(x) 
    return exps/np.sum(exps) 

def forward(self): 
    # self.input is a vector of length 10 
    # and is the output of 
    # (w * x) + b 
    self.value = self.softmax(self.input) 

def backward(self): 
    for i in range(len(self.value)): 
     for j in range(len(self.input)): 
      if i == j: 
       self.gradient[i] = self.value[i] * (1-self.input[i)) 
      else: 
       self.gradient[i] = -self.value[i]*self.input[j] 

その後self.gradientがベクトルであるlocal gradientです。これは正しいです？これを書くには良い方法がありますか？

Answer 1

私はあなたがの3層NNを持っていると仮定しています入力層から隠れ層への線形変換に関連し、W2,b2は、隠れ層から出力層への線形変換に関連する。 Z1およびZ2は、隠れ層および出力層への入力ベクトルです。 a1およびa2は、隠れ層および出力層の出力を表す。 a2は予測される出力です。 delta3とdelta2はエラー（逆伝播）で、モデルパラメータに関して損失関数の勾配を見ることができます。

これは、3層NN（入力層、唯一1つの隠れ層と1つの出力層）のための一般的なシナリオです。上記の手順に従って、計算しやすい勾配を計算することができます。この記事への別の答えはあなたのコードの問題を既に指しているので、私は同じことを繰り返すわけではありません。

Answer 2

私が言ったように、あなたはn^2部分的な派生物を持っています。代わりに、これはより簡潔にそうように計算することができる。ところで

 if i == j: 
      self.gradient[i] = self.value[i] * (1-self.input[i)) 
     else: 
      self.gradient[i] = -self.value[i]*self.input[j] 

の

 if i == j: 
      self.gradient[i,j] = self.value[i] * (1-self.value[i)) 
     else: 
      self.gradient[i,j] = -self.value[i] * self.value[j] 

：あなたが数学を行う場合

、あなたはdSM[i]/dx[k]がSM[i] * (dx[i]/dx[k] - SM[j])ので、あなたが持つべきであることを見つけます：

SM = self.value.reshape((-1,1)) 
jac = np.diag(self.value) - np.dot(SM, SM.T) 

Answer 3

np.expはInfを持っているため安定していません。 したがって、xの最大値を減算する必要があります。

def softmax(x): 
    """Compute the softmax of vector x.""" 
    exps = np.exp(x - x.max()) 
    return exps/np.sum(exps) 

xが行列の場合、（https://github.com/rickiepark/ml-learn/blob/master/notebooks/5.%20multi-layer%20perceptron.ipynb）このノートにソフトマックス機能をチェックしてください