数据挖据技术集成学习方法（ ensemblelearnig）.pptVIP

完全分裂的方式 随机特征选取 当特征个数M较多时，随机选择m个用于训练决策树。m越小，树的相关性越小，且训练速度越快。 当特征个数M较少时，可以由M个特征进行随机线性组合来产生M’ 个扩展特征，然后，在（M+M’）上随机选择m个特征，构建决策树。 其中，每一个扩展特征的构造如下： 从现有M特征中随机抽取L个，它们的权重系数是[-1,+1]区间的均匀随机数。然后，由L个已有特征线性组合出扩展特征。 随机特征数的确定 选择性集成算法 一方面，使用更多的学习器将导致更大的计算和存储开销，另一方面，当个体学习器数目增加之后，学习器之间的差异将越来越难以获得。 因此，提出问题：为了达到更好的性能，是否必须使用更多的个体学习器？ 选择性集成的理论分析 选择性集成的理论分析 选择性集成的理论分析 选择性集成的理论分析 问题求解 问题求解 GASEN算法 论文讲解 基于约束投影的支持向量机选择性集成 ，2009 研究题目：Local Boosting a local boosting algorithm for solving classification problem, Computational Statistics Data Analysis 52, 2008 要求：准备30分钟左右的ppt，讲清楚LS-SVM的原理及特点。 * back back back Data Mining: Concepts and Techniques 数据挖据技术集成学习方法(ensemble learnig) * * 第六章： 集成学习方法 基本概念 bagging boosting 随机森林 选择性集成方法 在机器学习中，直接建立一个高性能的分类器是很困难的。 但是，如果能找到一系列性能较差的分类器（弱分类器），并把它们集成起来的话，也许就能得到更好的分类器。 日常生活中，“三个臭皮匠，胜过诸葛亮”，便是体现了这种思想。 集成学习的基本概念 Classifier ensemble Σαihi(x) hn(x) h2(x) h1(x) Input vector Classifier 1 Classifier 2 …… Classifier N Combine Classifiers Output x 集成学习：图示 我们一般选定加权平均的方法来构造集成学习的最终学习器。 但是里面的每一个 弱分类器（i）怎样构造呢？ 有一些研究，是针对每个学习器都不同构的情况，比如识别一个人，一个学习器考虑脸，另一个考虑步态，另一个考虑指纹。这种研究通常称为Information Fusion，不在我们今天讨论的范畴。 狭义的集成学习（ensemble learning），是用同样类型的学习算法来构造不同的弱学习器的方法。 集成学习：如何构造？ 办法就是改变训练集。 通常的学习算法，根据训练集的不同，会给出不同的学习器。这时就可以通过改变训练集来构造不同的学习器。然后再把它们集成起来。 集成学习：如何构造？ 在原来的训练集上随机采样，可以得到新的训练集。 【随机采样】 集成学习（Ensemble Learning）是一种机器学习方法，它使用多个（通常是同质的）学习器来解决同一个问题 问题 … ... … ... 问题 集成学习中使用的多个学习器称为个体学习器 当个体学习器均为决策树时，称为“决策树集成” 当个体学习器均为神经网络时，称为“神经网络集成” …… …… 集成学习的定义 由于集成学习技术可以有效地提高学习系统的泛化能力，因此它成为国际机器学习界的研究热点，并被国际权威 T.G. Dietterich 称为当前机器学习四大研究方向之首[T.G. Dietterich, AIMag97] 问题：对20维超立方体空间中的区域分类 左图中纵轴为错误率 从上到下的四条线分别表示： 平均神经网络错误率 最好神经网络错误率 两种神经网络集成的错误率 令人惊奇的是，集成的错误率比最好的个体还低 [L.K. Hansen P. Salamon, TPAMI90] 【集成学习的重要性】 集成学习技术已经在行星探测、地震波分析、Web信息过滤、生物特征识别、计算机辅助医疗诊断等众多领域得到了广泛的应用 只要能用到机器学习的地方，就能用到集成学习 【集成学习的应用】 期望结果 个体1 (精度33.3%) 个体2 (精度33.3%) 个体3 (精度33.3%) 集成(精度33.3%) 投票 个体必须有差异 期望结果 个体1 (精度33.3%) 个体2 (精度33.3%) 个体3 (精度33.3%) 集成 (精度0%) 投票 个体精度不能太低 个体学习器越精确、差异越大，集成越好 [A. Krogh J. Vedelsby, N