Forward Stagewise回帰

定義

ゼロから始め、各ステップで残差に最もフィットする変数（木）の係数をわずか ε だけ更新するアルゴリズム。ε→0の極限でLassoの単調バージョンを解く。ブースティングの学習率（shrinkage）に対応し、正則化の役割を果たす。