ニューラルネットワークは、それを正規化することなく、

私のトレーニングデータの正規化データのために十分に正確であることができること、-2000 2000年までの範囲内の数値が含まれていない、私はそれを正規化：ニューラルネットワークは、それを正規化することなく、

1/300 = 0,0033~

したがって、-1 - 1の範囲になります。

問題は正規化された値の差が小さすぎることです。

1/300 = 0,00333~ 
1/299 = 0,00334~

これは、ニューラルネットワークが非常に正確に取得する必要があります。 tanhが活性化関数である間に私はグラデーションベースの逆伝播アルゴリズムを使用しています。それは、神経ネットワークがそれを正確に得るには長すぎます。

どのような学習方法を使用する必要がありますか、どのようにしてこのタスクの現在のニューラルネットワークを改善できますか？ありがとう！

最初の数層でReLU（リニア活性化）活性化機能を使用し、出力層に対して活性化を行うことができます。

Input (-ReLU-> Hidden L.)*n -tanh-> Output

2016-04-02 21:16:04

本当に唯一の解決策ですか？私は本当にリニア活性化機能を使用したくありません。 –

おそらくそうではありません。私は実際にはこのトピックではむしろ新しく、ReLUのアイデアも嫌っていましたが、十分な隠れ層（> 1）があればかなり効果的です。 –

答えて