ニューラルネットワークは、時間の経過とともに学習率と勢いを変える価値がある

Question

特定の条件が満たされた後に学習率を変更する価値はありますか？そして、どうやってやるの？例えば、ネットは高い学習率で始まり、二乗誤差が低いほど学習精度は低下し、精度は上がり、学習率は局所的な最小値から飛び出します。あまりフィットしないでしょうか？そして勢いは？

Answer 1

通常、高い学習率と低い勢いから始めなければなりません。次に、時間の経過と共に学習率を下げ、運動量を増やします。この考え方は、学習の初めにもっと探求し、学習の終わりに強制的に収束させることです。通常、学習エラーを見て学習スケジュールを設定する必要があります。障害が発生した場合、つまりエラーが変わらない場合は、学習率を下げるタイミングです。