第四章 集成学习与弱可学习理论.pptVIP

* * * * * * 当剔除第k个分类器后，如果满足 ，即 上式得到满足时，集成的泛化误差不会增大，反而可能减少，新集成的效果会比原集成更好。 应被剔除的个体学习器所需满足的条件为 : 综上可知，集成学习用于分类任务时，当产生多个个体分类器之后，从中选择一部分进行集成可能比使用所有分类器进行集成效果更好。 通过上面两种情况的分析讨论可知，在集成学习训练出若干个体学习器后，无论是回归问题还是分类问题，我们对其进行选择操作，剔除部分不利于集成泛化误差减小的个体分类器，使用剩余学习器进行集成可望比使用所有学习器进行集成获得更好的泛化性能。一个极端的例子就是当所有的个体分类器都相同时，我们可以大幅减少集成的规模，但其泛化能力不变。 10.3 GASEN 尽管从理论上说，对于回归和分类问题，可以根据上述方法实现集成时分类器的选择，但对于现实世界中的问题，其计算量往往是极大、甚至是不可行的，并且对于多个输出变量和多类别问题情况还要复杂的多。 因此，周志华等学者在提出选择性集成的思想以后，为了验证选择性集成的可行性与正确性，提出了GASEN(Genetic Algorithm based Selecte Ensemble)算法，通过遗传算法来确定所需剔除的学习器，并取得了良好的效果。 GASEN算法首先通过bootstrap技术产生一系列的学习器，然后为