Decision Tree
特徴空間を長方形の領域に再帰的に分割し、各領域で一定の予測値を返す手法。「if-then ルール」の集合体として解釈できるため、予測結果を人間が理解しやすい形で説明できる。数値予測（回帰木）とカテゴリ予測（分類木）の両方に使える。データが少し変わるだけで木構造が大きく変わる不安定性を持ち、これがBaggingの主要なターゲットとなる。
「決定木はデータに対する過敏さという致命的な弱点（不安定性）を持つ」
「特徴空間を長方形の領域に再帰的に分割し、各領域で一定値を予測する決定木」
「決定木の強みと弱み」
「CARTとPRIMは同じ目的に向かうが根本的にアプローチが違う」
「空間全体を分割する決定木と違い最も重要な患者像だけを精密に浮かび上がらせる」
「決定木には高分散という根本的な弱点がある」
「決定木は予測精度だけが弱点で、それ以外はほぼ満点という特異なプロファイルを持つ」
「決定木のシンプルさが混合データ型・欠損・外れ値・単調変換への強さを生む」
「決定木の予測関数は座標軸に平行な階段状関数しか作れない」