Curse of Dimensionality
次元が高くなると、データがスパースになり、局所的な推定が困難になる現象。「局所的」な近傍が空間全体を覆うようになり、低バイアスと低分散を同時に達成できなくなる。k-NNでは高次元で「近い点」が実際には遠く、精度が大幅に低下する。
「次元の呪い(Curse of Dimensionality)の導入」
「次元の呪いの3側面(近所の拡大・端への集中・指数的なデータ増加)のまとめ」
「次元の呪いの本質」
「次元が増えると「近い」はずの点がどんどん遠くなる次元の呪い」
「kd-treeも凝縮も、次元が高くなると効果が薄れる次元の呪い」