マルコフランダムフィールドの推論はなぜ難しいですか？

Question

私はMarkov Random Fieldsを研究しています。明らかに、MRFの推論はハード/計算コストが高いです。具体的には、Kevin Murphyの本「機械学習：確率論的視点」は、次のように述べている。

"最初の用語では、観測値にyを固定する;これはクランプされた用語と呼ばれることもある。 アンクランプされた用語を計算するには、モデル内の推論が必要であり、これはグラジエントステップごとに1回実行する必要があることに注意してください。これにより、訓練されていないグラフィカルモデルが訓練向けのグラフィカルモデルよりも難しくなります。

なぜここで推論を行っていますか？私はすべてのyを合計していると分かりますが、これは高価ですが、私たちが実際にパラメータを推定している場所はわかりません。ウィキペディアは推論についても述べていますが、条件付き分布を計算し、すべての指定されていないノードを合計する必要があると話しています。しかし、それはここでやっていることではありません。

また、MRFの推論がなぜ難しいのですか？

出典：MLの 第19章：PP：https://www.cs.ubc.ca/~murphyk/MLbook/pml-print3-ch19.pdf

特定のセクションでは、CRFを訓練するとき、あなたはあなたのパラメータ、\thetaを推定したい

Answer 1

の下に見られます。

これを行うには、損失関数（式19.38）を\thetaと区別し、0に設定して\thetaを求めます。

これを行うと、\thetaの式を解析的に解くことはできません。ただし、勾配降下によって式19.38を最小化することはできます。損失関数は凸であるため、収束するときに勾配降下が全体的に最適な解を得ることが保証されています。

式19.41は、勾配降下を行うために計算する必要がある実際の勾配です。第1項は、観測値yを合計したものとして計算するのは簡単です（計算上安価です）。しかし、第2項はあなたに推論を要求します。この項では、最初の項のようにyの観測値を合計していません。代わりに、y（推論）の構成を計算し、この構成で潜在的な関数の値を計算する必要があります。