提升方法：通过迭代构建强分类器集成学习技术.pdfVIP

提升方法9

提升方法是一种集成学习方法，通过构建多个学习模型来创建一个复合学习器。

提升方法与第2.6节提到的装袋方法不同：它明确寻求互补的模型，而装袋方

法对各个学习器处理数据的效果相互之间并不关心。

提升算法迭代且顺序地根据分布训练弱分类器，并将它们添加到最终的强分

器第

类（9.1节）。随着它们的加入，每个学习器的权重会根据其准确性进行调整。

一学器学习前一个学习器未能学习的内容：在每次迭代中，数据实例

个习

的相对权重会被调整。被前一个学习器错误分类的示例会增加权重，而正确分

类的示例会减少权重。因此，后续的弱学习器会更加关注前一个弱学习器错误

分类的数据实例。

顺序性也意味着学习器不能并行训练，这与装袋和其他集成方法不同。这

使得提升方法在计算上处于劣势。

提升算法之间的差异在于它们如何对训练数据实例和弱学习器进行加权。

自适应提升（AdaBoost）不需要预先知道弱学习器的错误率；相反，它会根

据观察到的准确性进行调整（第9.2节）。

泛化AdaBoost，一类凸目标函数定义了一系列类似的提升算法，这些算

法克服了原始方法