機能のスケーリングとそのさまざまなアルゴリズムへの影響

Question

これに関連する多くの似たような質問にもかかわらず、なぜアルゴリズムが影響を受けやすいのか理解できませんでした。

これまでSVMとK-meansは線形回帰と意思決定木ではないが、フィーチャスケーリングの影響を受けやすいことが分かった。一般に、またはこの4アルゴリズムに関連する。

私は初心者ですから、このことを素人の言葉で説明してください。

Answer 1

私が考えることのできる理由の1つは、少なくとも基本的な設定でSVMとK平均がL2距離メトリックを使用していることです。たとえば、delta-xまたはdelta-yを2倍にすると、2つのポイント間のL1またはL2距離メトリックが異なる結果になります。

線形回帰では、測定前に座標系を効果的に変換してデータを最もよく表す線形変換を適用します。最適なモデルはデータの座標系にかかわらず同じであるため、ほとんどの場合、結果はフィーチャスケーリングを含む線形変換に不変です。

デシジョンツリーでは、通常、x <という形式のルールを検索します。ここで重要なのは、指定したしきい値テストに合格または不合格となった項目の数だけです。これをエントロピー関数に渡します。このルール形式は次元のスケールに依存しないため、連続距離メトリックは存在しないため、ここでもまた分散があります。

それぞれ異なる理由がありますが、それが役立つことを願っています。