Model Averaging
複数の学習モデルの予測を何らかの重みで組み合わせる手法の総称。委員会法(均等重み)、ベイズモデル平均(事後確率重み)、Stacking(データから学習した重み)が含まれる。数学的に、最適な線形結合は任意の単一モデルより予測誤差が小さいことが証明される。
「モデルを捨てるのではなく混ぜることの利点」
「複数モデルの最適な線形結合は単一モデルより悪くならない」