私はAndrew Ngによって紹介されたオートエンコーダについてthis articleを読んでいます。そこでは、彼はコネクションを落とすために正則化のようなスパリを使用しますが、スパース性の定式化はレギュールとは異なります。だから、モデルNNやロジスティック回帰のような正則化項を直接使用しない理由を知りたいのですが：（1/2 * m）* Theta^2？オートエンコーダで希薄語の代わりに正規化用語を使用しないのはなぜですか？
まず最初に、いくつかの命名規則から始めましょう。スパース性ペナルティとL2ペナルティの両方は、の正式名称とすることができます。したがって、問題は「なぜ単純なL2ノルム基準の代わりにスパース性に基づく正規化を使用するのか」でなければならない。基礎的な数学に深く関わっていないため、私たちのネットワークがよく一般化された表現を作成するための良い方法は何かを尋ねるので、この問題に対する簡単な答えはありません。あなたが提案するもの）、あるいはネットワークへの入力として何を入力したとしても、比較的シンプルな表現を生成します（まれに、ほとんど使用されないウェイト/ニューロンが必要です）。この抽象化のレベルでさえ、これら2つのレギュラーの間に質的差異を示すはずであり、完全に異種モデルを構築することにつながる。まばらな言葉はいつもより良いでしょうか？おそらく、MLのほとんどは「いつもより良い」ものではないでしょう。しかし、平均的には、オートエンコーダにとってはヒューリスティックではないように思えます。圧縮の種類が必要なので、実際には圧縮された表現を作成するよう強制します。正規化はノルムの表現を単純に「スカッシュ」する（小さいノルムの重みを用いたドット積は入力のノルムをあまり大きくしないので）。しかし、各ニューロンの「小さなビット」を使用することができ、 （多くのユニットを使用して）しかし、簡単に - 小さな起動で。