周志华-机器学习-西瓜书-全书16章--Chap08集成学习.pptVIP

马健

第八章:集成学习

集成学习个体与集成BoostingAdaboostBagging与随机森林结合策略平均法投票法学习法多样性误差-分歧分解多样性度量多样性扰动

个体与集成集成学习(ensemblelearning)通过构建并结合多个学习器来提升性能

个体与集成考虑一个简单的例子,在二分类问题中,假定3个分类器在三个样本中的表现如下图所示,其中√表示分类正确,X号表示分类错误,集成的结果通过投票产生。集成个体应:好而不同

个体与集成–简单分析考虑二分类问题，假设基分类器的错误率为:假设集成通过简单投票法结合??个分类器,若有超过半数的基分类器正确则分类就正确

个体与集成–简单分析假设基分类器的错误率相互独立，则由Hoeffding不等式可得集成的错误率为:上式显示,在一定条件下,随着集成分类器数目的增加,集成的错误率将指数级下降,最终趋向于0

个体与集成–简单分析上面的分析有一个关键假设:基学习器的误差相互独立现实任务中，个体学习器是为解决同一个问题训练出来的，显然不可能互相独立事实上，个体学习器的“准确性”和“多样性”本身就存在冲突如何产生“好而不同”的个体学习器是集成学习研究的核心集成学习大致可分为两大类

集成学习个体与集成BoostingAdaboostBagging与随机森林结合策略平均法投票法