テンソルフローsoftmax_cross_entropy_with_logitsとsigmoid_cross_entropy_with_logitsの実装の相違

Question

私は最近tensorflow softmax_cross_entropy_with_logitsに出くわしましたが、実装の違いがsigmoid_cross_entropy_with_logitsと比較されています。

Answer 1

sigmoid_cross_entropy_with_logits最初sigmoid、次にクロスエントロピーを計算する一方softmax_cross_entropy_with_logits最初は、softmaxした後、クロスエントロピーを計算します。

Answer 2

シグモイドとソフトマックスの主な違いは、ソフトマックス関数がMLの考え方に一層インラインである確率の点で結果を返すことです。 softmax結果のすべての出力の合計を1にします。これは、ネットワークが答えにどれくらい自信を持っているかを示します。

ただし、シグモイド出力は控えめです。それは正しいか間違っています。確率を計算するコードを書く必要があります。

ネットワークのパフォーマンスが向上する限り、ソフトマックスは一般にシグモイドよりも精度が良い。しかし、それはまた、他のハイパーパラメータにも大きく依存する。