101集成学习概述31课件讲解.pptxVIP

集成学习概述10.1PARTTWO

2集成学习（ensemblelearning）也称多分类器系统或基于委员会的学习，它是将多个基础学习器（也称个体学习器）通过结合策略进行结合，形成一个性能优良的集成学习器来完成学习任务的一种方法，如图1所示。在集成学习中，个体学习器一般由一个现有的学习算法（如C4.5决策树算法）从训练数据中训练得到。图1集成学习的一般结构1．集成学习的原理分析10.1.1集成学习的基本原理

3在训练集成学习模型时：如果所有个体学习器都是同类模型（如集成学习模型中每个个体学习器都是决策树模型），则由这些同类个体学习器相结合产生的集成学习模型称为同质集成模型，同质集成模型中的个体学习器亦称“基学习器”，相应的学习算法称为“基学习算法”如果个体学习器不是同类模型（如集成学习模型中同时包含决策树分类模型和k近邻分类模型），则由这些不同类别的个体学习器相结合产生的集成学习模型称为异质集成模型，异质集成模型中的个体学习器常称为“组件学习器”。1．集成学习的原理分析10.1.1集成学习的基本原理

4集成学习是通过一定的结合策略将多个个体学习器进行结合得到的模型。模型的性能会受到个体学习器的预测准确率、多样性和数量等因素的影响。（1）个体学习器的预测准确率与多样性对集成学习模型性能的影响。例如，在二分类任务中，如果3个不同的个体学习器在3个测试样本中的预测准确率都是66.6%，则集成学习模型的预测准确率可能能够达到100%，即集成学习模型的性能有所提升，如表8-2所示（√表示样本预测正确，×表示样本预测错误）；如果3个不同的个体学习器在3个测试样本中的预测准确率都是33.3%，则集成学习模型的预测准确率可能为0，即集成学习模型的性能有所降低，如表8-3所示；如果3个个体学习器是3个相同的学习器，则集成学习模型的性能不会发生变化，如表8-4所示。2．个体学习器对集成学习模型性能的影响10.1.1集成学习的基本原理

5学习器测试样本1测试样本2测试样本3模型预测准确率个体学习器1√√×66.6%个体学习器2×√√66.6%个体学习器3√×√66.6%集成学习器√√√100%表8-2集成学习模型性能提升2．个体学习器对集成学习模型性能的影响10.1.1集成学习的基本原理

6学习器测试样本1测试样本2测试样本3模型预测准确率个体学习器1√××33.3%个体学习器2×√×33.3%个体学习器3××√33.3%集成学习器×××0表8-3集成学习模型性能降低2．个体学习器对集成学习模型性能的影响10.1.1集成学习的基本原理

7学习器测试样本1测试样本2测试样本3模型预测准确率个体学习器1√√×66.6%个体学习器2√√×66.6%个体学习器3√√×66.6%集成学习器√√×66.6%表8-4集成学习模型性能不变2．个体学习器对集成学习模型性能的影响10.1.1集成学习的基本原理

8可见，要获得好的集成学习模型，个体学习器应“好而不同”，即个体学习器要有一定的预测准确率（一般个体学习器的预测准确率应大于60%），并且各个个体学习器之间要有差异（多样性）。2．个体学习器对集成学习模型性能的影响（1）个体学习器的预测准确率与多样性对集成学习模型性能的影响。10.1.1集成学习的基本原理

9例如，在二分类任务中，假设个体学习器的预测误差率相互独立，则集成学习模型的预测误差率为其中，T表示个体学习器的数量，表示个体学习器的预测误差率。可见，随着集成学习模型中个体学习器数目T的增大，集成学习模型的预测误差率将呈指数级下降，最终趋向于零。然而，这个结论是基于假设“个体学习器的误差相互独立”得到的。在现实任务中，个体学习器是为解决同一问题而训练出来的，显然它们不可能相互独立。事实上，个体学习器的“准确性”和“多样性”本身就存在冲突，一般准确性较高之后，要增加多样性就必须牺牲准确性。所以说，如何训练出“好而不同”的个体学习器，是集成学习研究的核心内容。2．个体学习器对集成学习模型性能的影响（2）个体学习器的数量对集成学习模型性能的影响。10.1.1集成学习的基本原理

10集成学习模型的预测误差率公式是通过Hoeffding不等式计算得到的，Hoeffding不等式经常用于组合数学与计算机科学，其不等式右侧的符号exp在高等数学中表示以自然常数e为底的指数函数，即。知识库10.1.1集成学习的基本原理

11当模型的预测结果是数值型数据时，最常用的结合策略是平均法，即模型的预测结果是每个个体学习器预测结果的平均值，平均法包含简单平均法和加权平均法两种。假设集成学习模型中包含T个个体学习器，其中，