-1

より正則化(例えば1から10までのL2正則化パラメータ、または0.75から0.5への脱落パラメータ)を追加すると、遅く悪化したパフォーマンスが得られます(例:97-98% 3000〜4000回の反復で、3000〜4000回の反復で94〜95%の試験精度しか得られない)。おそらくこれが起こる理由はありますか?私はすべてが正しく実装されていることを確認できます。ありがとうございました!正規化を追加すると遅くて悪いパフォーマンスが発生する

編集:私のプログラムはオーバーフィット(約1%)しているだけで、ドロップアウトの有無にかかわらず、トレーニングとテストの正確さの違いはほぼ同じです。

答えて

0

精度が急激に低下する理由は、アンダーフィットが原因である可能性があります。 1より小さい規則的な規則にはより小さい値を使用します。[0.01,0.03,0.1,0.3,0.9]をチェックし、参照してください。

+0

ご協力いただきありがとうございます。残念ながら、ニューラルネットワークは実際には依然として過大です。私が本当に正規化手法を見つけたいのは、それが99%を超えるテスト精度を得ることができる唯一の方法だからです。私が試してみることのできる他の正則化技術があるのか​​、これがなぜ起こっているのかという理由があるのか​​どうか疑問に思っていました。すべてありがとう! – user8384788

関連する問題