Exponential Loss
L(y, f(x)) = exp(-y・f(x)) で定義される損失関数。AdaBoost.M1は指数損失を使った前向き段階的加法モデリングと数学的に等価である。指数関数の性質により各ステップの最適化が分解でき、単純な重み更新ルールが導出される。指数損失を最小化する最適な関数f*(x)はクラスの対数オッズの半分になる。ただしノイズや誤ラベルに対して非常に敏感で、外れ値の影響が指数関数的に大きくなるという弱点がある。
「AdaBoostは指数損失を最小化する前向き段階的加法モデリングと等価」
「指数損失の理論上の最適解は対数オッズの半分」
「ノイズの多いデータでは指数損失は危険」
「指数損失の定義とマージンとの関係を詳細に導出」
「指数損失の積が分解されて重みが登場する仕組み」
「指数損失とAdaBoostの等価性の意義と限界」
「指数損失の母集団最小化解を求める問い」
「指数損失を微分してゼロにすると対数オッズの半分が得られる」
「ロジスティック損失との双子の関係と外れ値への感度の違い」
「指数損失 exp(-yf) の曲線形状とノイズへの過剰反応」
「マージンが大きく負になると指数的にペナルティが増大する」