デシジョンツリーと線形セパレータの組み合わせでバギングを使用することは可能でしょうか？

Question

デシジョンツリーと線形セパレータの組み合わせでバギングを使用する可能性はありますか？

私は、決定木や線形セパレータに個別に袋詰めを使用できることを知っています。組み合わせはどうですか？

アイデア？

Answer 1

これはやや複雑な質問です。

デシジョンツリーではバギングを使用できますが、元のアプローチはあまりうまく機能しません。サブサンプルされた集団は相関の高いツリーを生成します。このソリューションは、一般的に、ランダムなフォレストの方向にあなたを連れて行きます。これは、袋詰めのバリエーションです。

バッグ自体はモデル投票の一種です。はい、最終結果に異なるモデルを投票させることができます。投票を行うために独自に開発されたモデルの異種セットを持つことさえできます。これが改良されたモデルを生み出すかどうかはわかりません。ブートストラップアグリゲーション（バギングの正式名称）は、通常、1つのタイプのモデルに適用されます（ただし、デシジョンツリー用に変更された形式）。