デルタルールと勾配降下

Question

勾配降下とデルタルールの違いは何ですか？

Answer 1

計算なし：デルタルールでは、勾配降下を使用して、パーセプトロンネットワークの重みによる誤差を最小限に抑えます。

勾配降下は、目的関数を最小にするために、パラメータのベクトルを徐々に変化させる一般的なアルゴリズムです。これは、最小の抵抗の方向、すなわち最も大きな（負の）勾配を有する方向に移動することによってこれを行う。

目的関数の派生を取ることで、この方向を見つけることができます。これは、滑らかな丘陵地帯に大理石を落とすようなものです。それは、ローカル最小値を保証します。したがって、簡単な答えは、デルタルールは、一般的なアルゴリズムの勾配降下を使用する特定のアルゴリズムであるということです。