Learning Rate
パラメータを更新する際の「ステップの大きさ」。小さすぎると学習が遅く、大きすぎると不安定になる。勾配ブースティングではシュリンケージ係数νとして各木の寄与をスケーリングし、過学習を防ぐ。νが小さいほど多くのイテレーションが必要だが汎化性能が高い。
「一度にどれだけ動かすかを決めるパラメータ」
「シュリンケージ係数νによる各木の寄与のスケーリング」
「学習率 ν を「踏み込む強さ」として捉え、小さくすることで過学習を防ぐ」