它的性质就变成了在训练集上可以以任意精度学习.pptVIP

Boosting的一些理论知识 Some theoretical notes on boosting 目录 集成学习简介 弱可学习定理、AdaBoost及其泛化界 泛函梯度下降法 集成学习：动机 在机器学习中，直接建立一个高性能的分类器是很困难的。 但是，如果能找到一系列性能较差的分类器，并把它们集成起来的话，也许就能得到更好的分类器。 日常生活中，所谓的民主决策，便是部分的利用了这种想法。 譬如选总统，每个人都以自己的考虑，投下自己的一票，但最后由多数人选出的总统，似乎应该好于由一个人指定的总统。 集成学习：动机 集成学习，就是一种把输入送入多个学习器，再通过某种办法把学习的结果集成起来的办法。 这每一个学习器，也就相应的被称为“弱学习器”。 集成学习最早也叫做“Committee Voting Method”，也就是因为它和投票的过程相似。 集成学习：如何构造？ 我们一般选定加权平均的方法来构造集成学习的最终学习器。 但是里面的每一个Classifier i怎样做呢？ 有一些研究，是针对每个学习器都不同构的情况，比如识别一个人，一个学习器考虑脸，另一个考虑步态，另一个考虑指纹。这种研究通常称为Information Fusion，不在我们今天讨论的范畴。 我们今天讨论的，是用同样的学习算法来构造不同的弱学习器的方法。 集成学习：如何构造？ 办法就是改变训练集。 通常的