SilvaとAlmeidaのバックプロパゲーションアルゴリズムのuとdにはどのような値が適していますか？

Question

SilvaとAlmeidaのアルゴリズムは、各重みに対して個別の適応学習率を導入することで、既存のバックプロパゲーションアルゴリズムを改善します。次のように新しい学習率の値が計算されます：私は、定数uとdがu > 1とd < 1なるように設定されていることを読んで

。これらの制約はかなり広いので、これらの値を設定するための一般的なガイドラインはありますか、または私の具体的な問題の実験によってそれを把握しなければなりませんか？

Answer 1

私は、ほとんどの問題に合った良い「開始」値は、u = 1.2とd = 0.8を試してみることですが、現在はソースを見つけることができません。

編集：I found it, PDF page 10-11

また、あなたが