2017-10-24 5 views
1

私は次MNISTの例を使用しています:https://github.com/Lasagne/Lasagne/blob/master/docs/user/tutorial.rstトレーニング損失の意味と検証損失

私はトレーニングと検証の損失についてお読みください。私は、妥当性検査の喪失は、訓練を受けたネットワークを通してそれらを実行した後に設定された検証イメージのエラーを表していることを知っていますが、この番号の単位は何ですか?では、この数字の正確な意味は何ですか?

ありがとうございました!

答えて

0

上記の例の損失関数は、カテゴリ間のクロスエントロピー損失です。カテゴリクロスエントロピー損失は、各クラスのクロスエントロピー損失を計算し、合計を返します。

クロスエントロピー損失= - シグマ(すべてのクラスc)Yc。 log(Pc)ここで、Ycは正しいクラスラベルであり、Pcは0と1の間の予測確率です。クラスについてラベルが1であり、予測確率が小さい場合、クロスエントロピー損失は非常に高く、その逆。

cross entropyの単位は、「真の」分布ではなく「不自然な」確率分布qのために最適化されたコーディング方式が使用されている場合、セットから抽出されたイベントを識別するために必要な「ビット」の数ですp、2つの確率分布pとqが与えられる。

ディープ学習のコンテキストでは、損失は、次の反復でその値を減らすために逆伝播されるスケーラー値です。

関連する問題