哈工大模式识别课程14集成学习理论.pptVIP

在机器学习中，直接建立一个高性能的分类器是很困难的。 但是，如果能找到一系列性能较差的分类器，并把它们集成起来的话，也许就能得到更好的分类器。 日常生活中，所谓的民主决策，便是部分的利用了这种想法。 譬如选总统，每个人都以自己的考虑，投下自己的一票，但最后由多数人选出的总统，似乎应该好于由一个人指定的总统。 集成学习，就是一种把输入送入多个学习器，再通过某种办法把学习的结果集成起来的办法。 这每一个学习器，也就相应的被称为“弱学习器”。 集成学习最早也叫做“Committee Voting Method”，也就是因为它和投票的过程相似。 我们一般选定加权平均的方法来构造集成学习的最终学习器。 但是里面的每一个Classifier i怎样做呢？ 有一些研究，是针对每个学习器都不同构的情况，比如识别一个人，一个学习器考虑脸，另一个考虑步态，另一个考虑指纹。这种研究通常称为Information Fusion，不在我们今天讨论的范畴。 我们今天讨论的，是用同样的学习算法来构造不同的弱学习器的方法。 办法就是改变训练集。 通常的学习算法，根据训练集的不同，会给出不同的学习器。这时就可以通过改变训练集来构造不同的学习器。然后再把它们集成起来。 在原来的训练集上随机采样，可以得到新的训练集。 采样时，我们可以给训练集里的每个元素不同的权。 权值可以通过上一次训练的结果来确定。 通过给训练