ロジスティック回帰に正規方程式を使用できますか？

Question

線形回帰で最適なシータ値を見つけるためにNormal Equationを使用するのと同じように、ロジスティック回帰にも同様の公式を使用できませんか？そうでない場合、なぜですか？誰かがそれの背後にある推論を説明できるかどうか感謝します。ありがとうございました。

Answer 1

残念なことに、分類理論の1つの弁別法だけが形式解 - 線形回帰...（線形判別分析/フィッシャー判別式は生成的であり、フィットされた分布の極端な単純さのために閉形式解を有する）。

一般に、線形回帰であっても「働く」という奇跡と考えられます。私が知る限り、「閉じた形でロジスティック回帰を解決することはできません」ということを証明することはほぼ不可能ですが、一般的な理解ではそれは当てはまりません。機能がバイナリのみで、数年前に表示されていたソリューションの数が指数関数的である場合はほとんどありませんが、一般的には不可能であると考えられています。

なぜそれが線形回帰のためにうまくいったのですか？なぜなら、一旦あなたの派生物を計算すると、その結果生じる問題はの線形の方程式に設定されます。私たちが知っているm個の方程式は、行列反転（および他の技法）によって直接解くことができます。ロジスティック回帰コストを微分すると、結果として得られる問題はもはや線形ではなくなります。これは凸（グローバル最適）ですが、線形ではないため、現行の数学では閉じた形式の解。