集成学习方法及其应用概述.pdfVIP

集成学习

一、概述

在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往

往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学学是组

合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个个弱分类器得到

了错误的预测，其他的弱分类器也可以将错误纠正回来。

集成方法是将几种机器学习技术组合成一个预测模型的元算法，以达到减小方差（baggin偏差boosting）

或改进预测（stacking）的效果。

集成学各个规模的数据集上都有很好的策略：

数据集大：划分成多个小数据集，学习多个模型进行组合

数据集小：利用Bootstrap方法进行抽样，得到多个数据集，分别训练多个模型再进行组合

1.1集成学习分类

序列集成方法（Boosting）其中参与训练的基础学习器按照顺序生成（例如AdaBoost）。序列方法的原理

是利用基础学习器之间的依赖关系。通过对之前训练中错错误标记的样本赋值较高的权重，可以提高整体的预

测效果。

并行集成方法（Bagging）其中参与训练的的基础学习