ニューラルネットワーク層のユニットは独立していますか？

Question

ニューラルネットワークでは、入力層、隠れ層、出力層の3つの主要部分が定義されています。隠れ層の単位間に相関関係はありますか？例えば、隠れ層の1番目と2番目のニューロンが互いに独立しているか、または互いに関係があるか？この問題を説明する情報源はありますか？

Answer 1

回答は多くの要因によって異なります。確率的な観点からは、訓練の前に入力との独立したです。入力が固定されていない場合、それらは大きく相関しています（同じ入力信号の2つの「ほぼ線形」関数として）。最後に、訓練の後、それらは強く相関し、正確な相関は初期化と訓練自体に依存する。