第1章

• 1.1統計的学習への入り口 — データから学ぶとはどういうことか

第2章

• 2.1教師あり学習への招待
• 2.3予測の2つのアプローチ：最小二乗法とk-最近傍法
• 2.4統計的決定理論 — 最良の予測とは何か
• 2.5高次元における局所的手法 — 次元の呪い
• 2.6統計モデル、教師あり学習、関数近似
• 2.7構造化回帰モデル
• 2.8制限付き推定量のクラス
• 2.9モデル選択とバイアス-バリアンス・トレードオフ

第3章

• 3.1線形回帰モデルと最小二乗法
• 3.2変数選択 - 最適な変数の組み合わせを見つける
• 3.3縮小推定法（Shrinkage Methods）
• 3.4最小角回帰（Least Angle Regression）
• 3.5導出入力方向を使った手法（主成分回帰と部分最小二乗法）
• 3.6選択法と縮小法の比較
• 3.7多出力における収縮と選択
• 3.8Lassoへの別道 — ステップ・グループ・効率的計算

第4章

• 4.1分類への線形アプローチ
• 4.2線形判別分析（Linear Discriminant Analysis）
• 4.3線形判別分析（Linear Discriminant Analysis）
• 4.4ロジスティック回帰（Logistic Regression）
• 4.5分離超平面（Separating Hyperplanes）

第5章

• 5.1基底展開と正則化 - 線形モデルの壁を超えて
• 5.2区分的多項式とスプライン
• 5.3フィルタリングと特徴抽出
• 5.4Smoothing Splines - 滑らかさを自動で調整する
• 5.5スムージングパラメータの自動選択 — データが最適な滑らかさを決める
• 5.6スプラインの応用拡張 — 分類と多次元への展開
• 5.7多次元スプライン — 変数の「絡み合い」を滑らかに扱う
• 5.8再生核ヒルベルト空間（RKHS）— カーネルが生む「無限次元の魔法」
• 5.9Wavelet Smoothing（ウェーブレット平滑化）

第6章

• 6.11次元カーネル平滑化法
• 6.2カーネルの幅の選択
• 6.3高次元空間での局所回帰
• 6.4局所尤度・カーネル密度推定・放射基底関数
• 6.5局所尤度と他のモデル
• 6.6カーネル密度推定と分類 — データの「形」から確率を生む
• 6.7放射基底関数とカーネル — 二つの手法の合流点
• 6.8混合モデルによる密度推定と分類
• 6.9カーネル法の計算量考察

第7章

• 7.1モデル評価と選択 - バイアス・バリアンスとモデル複雑度
• 7.2クロスバリデーション - 限られたデータを最大限に活用する
• 7.3バイアス・バリアンス分解
• 7.4訓練誤差の楽観性と情報量規準
• 7.5有効パラメータ数とBIC（ベイズ情報量規準）
• 7.6モデル選択の理論的基盤 - 最小記述長とVC次元
• 7.7ベイズアプローチとBIC
• 7.8ブートストラップとテスト誤差の哲学
• 7.9Vapnik–Chervonenkis Dimension（VC次元）
• 7.10クロスバリデーション — データの一部を「未来のフリ」にする技
• 7.117.11 ブートストラップ法
• 7.127.12 条件付きテスト誤差か、期待テスト誤差か

第8章

• 8.1モデル推論とブートストラップ
• 8.2ベイズ法・EMアルゴリズム・MCMC
• 8.3バギング・モデル平均化・バンピング
• 8.4BootstrapとBayes推論の不思議な一致
• 8.5EMアルゴリズム：見えない所属を確率で推定する
• 8.6MCMCで事後分布からサンプリングする
• 8.7Bagging — 揺らぐモデルを「平均」で安定させる
• 8.8モデル平均化とStacking — モデルを「捨てる」のではなく「混ぜる」
• 8.9Bumping — 確率的探索で局所最適から脱出する

第9章

• 9.1一般化加法モデル（Generalized Additive Models）
• 9.2木ベース手法：決定木
• 9.3PRIM: データの中の「宝の山」を探す
• 9.4MARS - 多変量適応回帰スプライン
• 9.5階層的専門家混合モデル（HME）
• 9.6欠損データと計算量 — データの「穴」をどう埋めるか

第10章

• 10.1ブースティングとAdaBoost
• 10.2損失関数の選択とブースティング木
• 10.3勾配ブースティング — 損失を勾配で削る
• 10.4指数損失とAdaBoost — 神秘の公式はどこから来たのか
• 10.5指数損失の正当性 — AdaBoostが「正しかった」証拠
• 10.6損失関数とロバスト性 — AdaBoostの「美しさ」が抱えた弱点
• 10.7"既製品"手順 — なぜ決定木が現場で愛されるのか
• 10.8スパムフィルタとブースティング木 — 弱い木の累積が「最強」を生む
• 10.9ブースティング木の「ちょうど良い大きさ」— なぜ4枚葉が黄金比なのか
• 10.10勾配ブースティングの正則化 — 「ゆっくり、少しずつ」がなぜ最強なのか
• 10.11ブースティングの解釈 — 500本の木が語る変数の声
• 10.12実例で見るGBM — 隠れた構造を語らせる

第11章

• 11.1ニューラルネットワーク - 脳を模倣した学習機械
• 11.2Projection Pursuit Regression — ニューラルネットワークの先祖
• 11.3ニューラルネットワークの構造とバックプロパゲーション
• 11.4ニューラルネットワークの限界・建築美・ベイズへの進化
• 11.511.10 計算量の話 — ニューラルネットを動かすコストはどう決まるのか

第12章

• 12.1サポートベクターマシン - マージンを最大化する分類の王者
• 12.2SVMの深化 — 回帰・カーネル表現定理・汎化理論
• 12.3柔軟な判別分析 — FDA・PDA・MDA

第13章

• 13.1プロトタイプ法とk-NN - データが語る「近さ」の力
• 13.5k-NNの計算量を切り詰める - 賢く速く近傍を探す

第14章

• 14.1教師なし学習 - ラベルなしでデータの「形」を読む
• 14.2アソシエーションルール - 一緒に買われるものを発見する
• 14.3クラスター分析 - データの中に潜む「仲間たち」を探す
• 14.4自己組織化マップと主成分分析 — 高次元データの「地図」を作る
• 14.5行列分解・距離保存・ランクの哲学 — NMF・ICA・MDS・PageRank
• 14.6独立成分分析（ICA）— カクテルパーティーから信号を分離する

第15章

• 15.1ランダムフォレスト — 多数の「ちょっとダメな木」が強い予測器を生む
• 15.2ランダムフォレストの定義 — バギングの弱点を「ランダムな特徴量選択」で克服する
• 15.3ランダムフォレストの詳細と分析 — OOB・変数重要度・分散の謎
• 15.4ランダムフォレストの数学的解析

第16章

• 16.1アンサンブル学習 — 弱い学習器の「合唱」が最強の予測器を生む
• 16.2ブースティングと正則化経路
• 16.3アンサンブルを学習する — 辞書とLassoの融合

第17章

• 17.1無向グラフィカルモデル — 変数の「関係網」を可視化する
• 17.2マルコフグラフとその性質 — グラフで条件付き独立を読み解く
• 17.3連続変数の無向グラフィカルモデルとグラフィカルLasso
• 17.4離散変数の無向グラフィカルモデル

第18章

• 18.1高次元問題 — データより変数が多いとき
• 18.2対角LDAと最近傍縮小重心 — 2万遺伝子から本物の手がかりを見つける
• 18.3二次正則化付き線形分類器
• 18.4L₁正則化付き線形分類器
• 18.5分類のための特徴量抽出
• 18.6高次元回帰：監視型主成分
• 18.7フィーチャーアセスメントと多重検定