《机器学习及其应用》课件 第五章 集成学习.pptxVIP

计算机应用技术研究所1机器学习Machine Learning 汪荣贵 教授合肥工业大学 计算机与信息学院 2023/5/19计算机应用技术研究所2第5章 集成学习 2023/5/19 本章学习内容Bagging集成学习2 Boosting集成学习3集成学习基础知识1 2023/5/19计算机应用技术研究所4 集成学习基础知识 2023/5/19计算机应用技术研究所5 集成学习基础知识 集成学习的概念 集成学习基本范式 集成学习泛化策略 集成学习的概念 集成学习将多个性能一般的普通模型进行有效集成，形成一个性能优良的集成模型，通常将这种性能一般的普通模型称为个体学习器。如果所有个体学习器都属于同类模型，则称由这些个体学习器产生的集成模型为同质集成模型，并称这些属于同类模型的个体学习器为基学习器。反之，将属于不同类型的个体学习器进行组合产生的集成模型称为异质集成模型。 集成学习的概念 若某学习问题能被个体学习器高精度地学习，则称该学习问题是强可学习问题，并称相应个体学习器为强学习器；反之，则可定义弱可学习问题，并称相应个体学习器为弱学习器。当直接构造其强学习器比较困难时，可通过构造一组弱学习器生成强学习器，将强可学习问题转化为弱可学习问题。通常称集成学习在分类任务中的弱（强）学习器为弱（强）分类器，在回归任务中弱（强）学习器为 弱（强）回归器。 2023/5/19 集成学习的概念 合理地选择弱学习器是集成学习首要必须解决的问题，例如，对于图 5-1 所示的二分类任务（圆圈表示分类正确，叉号表示分类错误），图中每个分类器的分类正确率均为1/3，则由少数服从多数原则进行组合得到集成模型的分类正确率为 0。 2023/5/19 集成学习的概念 上述情况是由于弱学习器泛化性能均太弱造成的。在集成学习的实际应用当中，应尽可能选择泛化性能较强的弱学习器进行组合，如图5-2所示，当每个弱分类器分类错误的样本各不相同时，则能得到一个效果优异的集成模型。 2023/5/19 集成学习的概念 在选定弱学习器时，集成学习需要通过一定的组合策略将它们组合起来形成较高性能的强学习器。使用单个学习器会带来过多的模型偏好，从而产生模型泛化能力不强的现象，结合多个弱学习器则可以有效降低此类风险。 2023/5/19计算机应用技术研究所11 集成学习基础知识 集成学习的概念 集成学习基本范式 集成学习泛化策略 集成学习基本范式集成学习包括两个基本步骤：（1）首先根据数据集构造弱学习器（2）对弱学习器进行组合得到集成模型 构造弱学习器? 构造弱学习器并行构造方式忽略了弱学习器之间的某些联系，有时候丢掉一些重要信息，为此可以用串行的方式逐个构造弱学习器，使得各弱学习器之间可以存在一定的关联。弱学习器的串行构造过程如图 5-4 所示。 组合弱学习器? 组合弱学习器? 组合弱学习器? 组合弱学习器 在票数比较分散的情况下，相对多数投票法的最多票数可能会很小，此时大大增加集成模型出现错误分类的概率。如果限制模型??(??)预测输出类型的最低得票数不得小于弱分类器数目??的一半，否则??(??)拒绝输出预测结果，称这种改进相对多数投票法为绝对多数投票法。 组合弱学习器? 2023/5/19计算机应用技术研究所20 集成学习基础知识 集成学习的概念 集成学习基本范式 集成学习泛化策略 集成学习泛化策略? 集成学习泛化策略? 集成学习泛化策略? 集成学习泛化策略 降低弱学习器的泛化误差: 样本扩充、范数惩罚等机器学习正则化策略。 提高个体学习器的多样性：改变训练样本和改变模型训练参数。 集成学习泛化策略? 集成学习泛化策略 改变模型训练参数的角度：由于弱学习器自身参数的不同设置以及在不同训练阶段的产生的不同参数也会产生不同的弱学习器，故可从改变神经网络初始连接权重、隐层神经元个数等参数的角度增加弱学习器的多样性。 通常综合使用多种泛化策略构造同一个集成模型。 例如在构建某个集成模型时可能既采用数据样本采样方法，又对模型参数进行随机选择以提高弱学习器的多样性。 集成学习泛化策略? 2023/5/19计算机应用技术研究所28 Bagging集成学习 Bagging集成策略 随机森林模型结构 随机森林训练算法 Bagging集成策略? Bagging集成策略? 序号1234567894.27.16.31.10.24.03.582.3860061006700120001420085008900620011200? 例题 ? 例题 ? 例题 ? 例题 ? 例题 编号123456789100.10.20.30.40.50.60.70.80.91111-1-1-1-1-111? 例题 ?编号123456789100.10.4