Subsampling (Stochastic Boosting)
ブースティングの各反復で訓練データの一部(例: 50%)をランダムに選んで木を学習する手法。ランダムフォレストと同様の「揺らぎ」の効果によってモデルを安定化させ、過学習を防ぐ正則化として機能する。確率的勾配ブースティングとも呼ばれる。
「各反復でデータの一部だけをランダムに使うサブサンプリングによる正則化」
「確率的勾配ブースティング:毎回異なるランダムサブセットで木を作る」
「縮小とサンプリングの相補関係:単独より組み合わせが最良」
「シュリンケージによってマスキングが起きにくくなり、変数重要度が公平に推定される」