Random Forest
バギングに「各分岐点でm個の変数のみランダムに選択する」という工夫を加えたアンサンブル学習法。木の間の相関を下げることで分散を削減し、高い予測精度を実現する。OOB誤差や変数重要度の計算も自然に得られる。
「各スプリットで全変数からm個だけランダムに選ぶことで木の相関を下げる」
「ランダムフォレストのアルゴリズム」
「p個の変数からm個をランダムに選ぶランダムフォレストの定義」
「ランダムフォレストのアルゴリズム全体の流れ」
「バギングとの対比でランダムフォレストの本質を理解する」
「B→∞ でランダムフォレストの予測が期待値に収束する数学的性質」
「バイアス・バリアンスのトレードオフにおけるランダムフォレストのmの役割」
「ランダムフォレスト1000本をLassoで約40本に絞れる」
「ISLEにさらに分岐変数のランダム選択を加えるとランダムフォレスト」