5.6–5.7 スプラインの応用拡張

「分類に滑らかさを」— ロジスティック回帰への応用

回帰問題ではデータ点に滑らかな曲線をフィットさせました。 では分類問題——出力が0か1の二値——ではどうすればいいでしょうか？

直感的には、あるデータ点の「クラス1に属する確率」を表す曲線を滑らかに推定したい。 単純に0/1のデータを直接スプラインでフィットしても、確率の解釈がうまくいきません。 ここで登場するのが対数オッズの考え方です。

クラス1の確率 $p(x) = \Pr(Y=1|X=x)$ に対して、 その対数オッズが滑らかな関数 $f(x)$ であると仮定します：

これを逆に解くと、確率はシグモイド型の曲線になります：

つまり、$f(x)$ が滑らかな関数ならば、確率 $p(x)$ もなめらかに変化します。 上のアニメーションで見えているシグモイド型の緑の曲線が、まさにこの確率関数です。 赤い垂直線は「確率がちょうど0.5になる点」——すなわち決定境界です。

問題は $f(x)$ をどう推定するかです。 スムージングスプラインと同様に、データへのフィットと滑らかさのバランスを取る目的関数を最大化します：

この式は2つの部分からなります。 第1項は対数尤度（データへのフィット度）、 第2項は滑らかさへの罰則。$\lambda$ が大きいほど滑らかな曲線を好み、$\lambda \to 0$ でデータをほぼ完全に通過する曲線になります。

反復重み付き最小二乗法による最適化

通常の平滑化スプラインは閉じた形の解（行列計算）で求まりますが、ロジスティック回帰の場合は非線形なので反復計算が必要になります。

ここで山の上から少しずつ転がり落ちる様子を想像してください。 谷底が「最適解」で、各ステップで少しずつ最適値に近づく——これがニュートン・ラフソン法の直感です。

このアニメーションの鍵となる点があります。 各反復ステップは「重み付きスムージングスプライン問題」に帰着するのです—— つまり前章で学んだ技術がそのまま使えます。

具体的には、現在の推定 $f^{\text{old}}$ から 「修正された応答変数」 $\mathbf{z}$ を計算し、 それに重み付きスムージングスプラインをフィットさせます：

ここで $\mathbf{S}_{\lambda, w}$ は重み付きスムーザー行列です。 この更新を繰り返すことで、$f(x)$ が最適な滑らかな確率曲線に収束します。

更新式を展開すると：

ここで $\mathbf{N}$ はスプライン基底行列、$\mathbf{W}$ は対角重み行列 （$w_i = p(x_i)(1-p(x_i))$）、$\mathbf{\Omega}$ は罰則行列です。

さらに面白いことに、$\mathbf{S}_{\lambda, w}$ を 任意の非パラメトリック回帰演算子に差し替えることができます。 これは「非パラメトリックロジスティック回帰」の一般的なフレームワークを与え、 第9章で詳しく扱う一般化加法モデル（GAM）へとつながります。

多次元への拡張 — テンソル積スプライン

1次元スプラインはデータが1変数のとき（例：年齢→血圧）に使います。 しかし現実のデータは多変数です（年齢、体重、身長、…）。 どうやって1次元のアイデアを多次元に拡張すればいいでしょうか？

最も素直な拡張はテンソル積基底です。$X_1$ に対する1次元の基底関数と、$X_2$ に対する基底関数を「掛け合わせる」という発想です。

上のアニメーションで見えているのがまさにその「掛け算」の様子です。 左上の青い波（$h_{1j}(X_1)$）と 左下の黄色い波（$h_{2k}(X_2)$）を掛け合わせると、 右の2次元の色分けされた曲面が生まれます。

数式で書くと：

2次元関数は $M_1 \times M_2$ 個の基底の線形結合で表現されます：

視覚的に言えば：X軸方向の「波」とY軸方向の「波」を掛け合わせると、 2次元の「凸凹した曲面」が作れます。 これがテンソル積の美しさです。

しかしここに大きな落とし穴が潜んでいます。 次元 $d$ が増えると、 必要な基底関数の数は指数的に増加します（$M^d$ 個）。 これが次元の呪いの一側面です。

Thin-Plate スプライン — より自然な多次元スプライン

テンソル積スプラインには一つの「くせ」があります。 X軸方向とY軸方向を独立に扱うため、座標軸の向きに依存してしまうのです。 現実には、データが「たまたまX軸とY軸に沿っている」とは限りません。

そこで登場するのが薄板スプライン（Thin-Plate Spline）です。 「薄板」というのは金属の薄い板を想像してください—— データ点を通るように少し曲げながら、できるだけ平らに保とうとする曲面です。

$d$ 次元の場合、目的関数は：

2次元での罰則項 $J[f]$ は全方向の2階微分の二乗を積分します：

1次元スムージングスプラインと同じく、最適解は有限次元で表現できます：

ここで $h_j(x) = \|x - x_j\|^2 \log\|x - x_j\|$ が放射基底関数（RBF）の一種です。 各データ点 $x_j$ を「中心」とした、 距離に依存する関数の重ね合わせで曲面を表現します。

このトレードオフは機械学習の設計判断において重要な実用的制約です。 「理論的に自然」なモデルが「計算的に扱いやすい」とは限らない—— この緊張関係はスプライン以外でも繰り返し登場します。

まとめ — スプラインの広がり

「滑らかさへの罰則」というアイデアは驚くほど汎用的です。 ここまでの章で見てきた手法をまとめてみましょう。

上のアニメーションは4つのアプローチの「概念地図」です。 それぞれの違いを整理しましょう：

見えてきたパターンがあります——どのケースでも「罰則付き最適化」という枠組みが共通しています。 目的関数 = データへの適合 + 滑らかさへの罰則、という形が維持されています。

次節（5.8節）では「どんな関数空間でも使える汎用的な罰則の枠組み」を学びます。 Thin-Plate スプラインで登場した放射基底関数が、 より深い数学的構造と結びついていることが分かります。 それは「再生核ヒルベルト空間（RKHS）」と呼ばれる、 関数解析の美しい理論です。