数据挖据技术集成学习方法ensemblelearnig.ppt

数据挖据技术集成学习方法(ensemble learnig);*;在机器学习中，直接建立一个高性能的分类器是很困难的。 但是，如果能找到一系列性能较差的分类器（弱分类器），并把它们集成起来的话，也许就能得到更好的分类器。 日常生活中，“三个臭皮匠，胜过诸葛亮”，便是体现了这种思想。;Classifier ensemble;我们一般选定加权平均的方法来构造集成学习的最终学习器。 但是里面的每一个 弱分类器（i）怎样构造呢？ 有一些研究，是针对每个学习器都不同构的情况，比如识别一个人，一个学??器考虑脸，另一个考虑步态，另一个考虑指纹。这种研究通常称为Information Fusion，不在我们今天讨论的范畴。 狭义的集成学习（ensemble learning），是用同样类型的学习算法来构造不同的弱学习器的方法。;办法就是改变训练集。 通常的学习算法，根据训练集的不同，会给出不同的学习器。这时就可以通过改变训练集来构造不同的学习器。然后再把它们集成起来。;在原来的训练集上随机采样，可以得到新的训练集。; 集成学习（Ensemble Learning）是一种机器学习方法，它使用多个（通常是同质的）学习器来解决同一个问题;由于集成学习技术可以有效地提高学习系统的泛化能力，因此它成为国际机器学习界的研究热点，并被国际权威 T.G. Dietterich 称为当前机器学习四大研究方向之首[T.G. Dietterich, AIMag97];集成学习技术已经在行星探测、地震波分析、Web信息过滤、生物特征识别、计算机辅助医疗诊断等众多领域得到了广泛的应用;期望结果;既然多个个体的集成比单个个体更好，那么是不是个体越多越好?;集成策略;集成策略;从大小为n的原始数据集D中独立随机地抽取n’个数据(n’<=n)，形成一个自助数据集； 重复上述过程，产生出多个独立的自助数据集； 利用每个自助数据集训练出一个“分量分类器”； 最终的分类结果由这些“分量分类器”各自的判别结果投票决定。 ;【Bagging算法】;【Boosting算法】;Boosting流程描述;核心思想;简单问题演示（Boosting训练过程）;算法—boosting数学描述;样本权重;弱学习机权重;AdaBoost算法;Adaboost 训练过程;Adaboost 训练过程;Adaboost 训练过程;Adaboost的缺点;随机森林算法;随机森林算法;31;完全分裂的方式;随机特征选取;随机特征数的确定;选择性集成算法;选择性集成的理论分析;选择性集成的理论分析;选择性集成的理论分析;选择性集成的理论分析;问题求解;问题求解;GASEN算法;论文讲解;研究题目：Local Boosting