PyTorchでのL1/L2正規化の追加？

PyTorchでL1/L2正規化を追加することはできますか？おそらくdata_lossにreg_lossを追加するだけで正規化された損失を計算することができますが、PyTorchライブラリからのサポートは手動で行うのではなく、もっと簡単に行うことができますか？PyTorchでのL1/L2正規化の追加？

出典

2017-03-09 Wasi Ahmad

これはPyTorchのドキュメントに示されています。 http://pytorch.org/docs/optim.html#torch.optim.Adagradをご覧ください。ウェイト減衰パラメータを使用してL2損失を最適化機能に追加することができます。

出典

2017-03-10 16:46:28 Kashyap

Adagradは、私が正則について話しています、最適化手法です。あなたは私にL1とL2の損失の具体的な例を教えてもらえますか？ –

Yaでは、L2機能の正則化は、最適化機能で不思議に追加されます。これは、最適化中に損失関数が使用されるためです。ここでディスカッションを見つけることができますhttps://discuss.pytorch.org/t/simple-l2-regularization/139/3 – Kashyap

L2正則化のために役立つはず、次のとおりです。

optimizer = torch.optim.Adam(model.parameters(), lr=1e-4, weight_decay=1e-5)

出典

2017-10-06 02:47:25

PyTorchでのL1/L2正規化の追加？

答えて

関連する問題