座標降下法

定義

一度に一つの変数だけを最適化する反復アルゴリズム。他の変数を固定して1変数のLasso問題を解くことを全変数でサイクルして繰り返す。各ステップの解はソフト閾値化演算子で閉じた形で書け、高次元問題でも効率的に動作する。温かい始点（warm start）を活用でき、Lasso・リッジ回帰・グループLassoなど多くの正則化問題に適用できる。