距離行列(ユークリッド)を使用する場合、データセット(ほとんどの次元で複数のゼロ値)でスパース性が検索効率または精度にどのように影響するかをお尋ねします。私はANNとFLANNでこのような疎なデータセットをテストしましたが、密なデータセットと比較して、最も近い近隣を検索するのは非常に長い時間でした。なぜこれはそうですか?データマイニングにおけるデータセットのスパース性の影響
2
A
答えて
2
これは非常に幅広い質問であり、具体的な説明がなくても答えにくいです。しかし、私はそれを試してみましょう。
ユークリッド空間の最近傍を求めるには一般に、約m * n回の計算が必要です。ここで、mは次元数、nはサンプル数です。各データセットの時間統計をm * nでプロットし、それらの比較方法を見ることができます。
スパースデータセットの場合は、サンプルを辞書形式で保存することもできます。その場合、平均時間はおおよそk * logk * nの計算になります。ここでkは非ゼロ要素の平均数です(辞書が各機能のランダムアクセス時間がlogkになるように格納されていると仮定します)。 logkの部分はほとんど目立たない)。
0
これは実装によって大きく異なります。あなたは何を使用しますか?例えば、距離計算に疎最適化を使用しますか?ユークリッド距離は、スパースベクトルの最も合理的な距離ではありません。
関連する問題
- 1. MS09-035アプリケーション開発における脆弱性と影響
- 2. .NET 4.0におけるCASポリシーの変更の影響?
- 3. アルゴリズムの複雑さにおけるメモリ使用の影響
- 4. ActiveMQのセッションAUTO_ACKNOWLEDGE特性への影響
- 5. ボタンの影響を受けるキーダウンイベント
- 6. お互いに影響を与えるAndroidの画像
- 7. ADODBの影響を受けた行がトリガの影響を受ける行を返します
- 8. OSGiと永続性のモジュール性:関係の影響
- 9. Vector3の方向は影響に影響しません
- 10. のHandleError属性は私のweb.configファイルには何の影響も
- 11. 型の等価性にint配列のサイズの影響
- 12. 影響
- 13. イベントリスナーは影響を受けますか?
- 14. 影響を受けた行エンティティフレームワーク
- 15. @ServiceDependencyアノテーションの影響
- 16. iOS:NavigationController:BarBackButtonItem影響の幅
- 17. Web開発におけるキャッシュのメリットとデメリットPHPでは、どのようにデータベースに影響しますか?
- 18. Visual Studio 2015デバッガ - SqlCommandに高性能の影響
- 19. forループはNSStringの完全性に影響しますか?
- 20. IServiceBehaviorの実装はServiceBehavior属性に影響しますか?
- 21. ファイルシステムはアプリケーションの移植性に影響しますか?
- 22. データマイニングの町および都市名
- 23. cのリンケージと比較した、C++のリンケージにおける名前空間の影響は何ですか?
- 24. お互いに影響するチェックボックスのグループを設定するには
- 25. Telerikアップグレードで影響を受ける特定のコントロールのスタイリング
- 26. PL/SQLのUPDATEの影響を受ける行数
- 27. プロトタイプの混乱:親プロトタイププロパティが子プロトタイプの影響を受ける
- 28. データセットのメディアンのためのアクセスにおけるベストVBAアプローチ
- 29. 特定のテーブルに影響を受けていないテスト
- 30. データセット内の一貫性スコア付け
i a.m優先順位の高い検索ツリーを持つランダム化されたk-dツリーを使用すると、スパースな最適化は実装されません。なぜユークリッド距離はまばらなベクトルではうまくいかないのですか? – Tian