人工ニューラルネットワークソフトウェアプログラムの学習率パラメータ

Question

人工ニューラルネットワークとして知られているタイプのソフトウェアプログラムを使用しています。ソフトウェアのパラメータの1つは、学習率（アルファとも呼ばれます）です。学習率の設定は、スライダを前後に動かすことで制御できます。スライダの一方の側には、もう一方の値1E-05がちょうど1である。その間には、9E-05、.000045などの様々な値がある。私が知りたいのは、これらの2つの学習率のどれが片側が1E-05、片側が1E-05です。ありがとう。 （ - 1次オプティマイザのための、または二次 - 2次用リニア）

Answer 1

学習率は、約ステップの大き機能のかなり素朴な近似値を使用している研修約速さではありません。その結果、学習率が非常に低いと訓練が遅くなるが、学習率が高いと訓練が不足することがある。さらに、その間の値は単調ではないかもしれません（より小さい学習率がより大きなものよりも実際に収束するところで訓練を受けることができます）。私たちは素朴に言っても、大きな学習率はより速い訓練であると言うことができます - 一般的にこれは真実ではなく、さらに学習率が最も速いものに答えることはできません。ここでは、一般的なヒューリスティック/観測を使用することができます。大きな学習率から始めれば、結果が悪い場合は減らしてみてください。しかし、実際の訓練時間保証の面では、何もありません。