モデル圧縮はなぜ非常にうまくいくのですか？説明してください

Question

モデル圧縮：これを簡単に説明しましょう。

X_train（features）、Y_train（target）をトレーニングデータとします。

今

X_train, Y_train ------> M1 (Example: decision tree) 

X_train --------> M1 ----> Y_pred (predicted Y for X_train) 

Case 1: 
    X_train, Y_pred -----------> M2 (Example: any model that is NOT decision tree) 

    X_train ---------------> M2 ----------> Y_pred1 

Case 2: 
    X_train, Y_train -----------> M2 (Example: any model that is NOT decision tree) 

    X_train ---------------> M2 ----------> Y_pred2 

今私はM2のAUCスコアを計算します。

​​

ケース1のAUCは、ケース2のAUCよりも高い。ケース1はモデル圧縮と呼ばれます。私はその背後の直感を得るのが好きです。もちろんAUCは確率で計算されます。

Answer 1

結果の直観は、の条件付きエントロピーが0であるということです。したがってM2はX_train-> Y_predを第2の場合よりも簡単に学習できます。