Representer Theorem
RKHS内の正則化問題の最適解は、必ず f(x) = Σᵢ αᵢK(x,xᵢ) という形になるという定理。無限次元の関数空間での最適化が、N個のパラメータ {α₁,...,αN} だけで記述できることを保証する。データ点と無関係な関数成分は損失に影響しないがノルム(罰則)を増やすため、最適解に含まれないという直感的な説明がある。
「表現定理(Representer Theorem)の本質」
「無限次元が有限次元に帰着される表現定理の魔法」
「M個の基底関数を使ってもN個のカーネル評価だけで解が決まる」
「どの手法でも解は訓練データ点上のカーネル評価の線形結合で書ける」