Bagging (Bootstrap Aggregation)
ブートストラップサンプルで学習した複数モデルの予測を平均する手法（Bootstrap Aggregation）。不安定なモデル（決定木など）のバリアンスを大幅に削減できる。安定したモデルには効果が薄い。バイアスは変えずバリアンスのみを減らすため、高分散・低バイアスな学習器に最も効果的。
「バギング（Bootstrap Aggregation）でバリアンスを削減する」
「バギング（Bootstrap Aggregating）は「自分でデータを増やして多数決を取る」考え方」
「不安定なモデルほどバギングから大きな恩恵を受ける」
「B個のブートストラップサンプルの予測を平均するだけでテスト誤差が下がる」
「BaggingはBiasを変えずVarianceだけを減らす」
「高分散・低バイアスな不安定学習器にこそ効く処方箋」
「BaggingとBumping：平均化vs最良の1つを選ぶの対比」
「バギングは各ブートストラップサンプルで木を作り、平均する」
「バギングには木の相関が高いという限界がある」
「全変数から選ぶバギングでは木の構造が似てしまう」
「バギングとの違いは各分割でm個から選ぶという一点」
「ISLEの特殊ケースとして：η=1、ν=0がバギング」
「バギングは委員会法の一種として解釈できる」
「バギングと異なり、モデル平均化は異なる学習アルゴリズムを組み合わせる」
「確率的勾配ブースティングの発想の源：Bagging のアンサンブル効果をブースティングに取り込む」