数据挖据技术集成学习方法(ensemblelearnig).pptVIP

数据挖据技术集成学习方法(ensemble learnig) 王磊 （副教授） 经济信息工程学院 在机器学习中，直接建立一个高性能的分类器是很困难的。 但是，如果能找到一系列性能较差的分类器（弱分类器），并把它们集成起来的话，也许就能得到更好的分类器。 日常生活中，“三个臭皮匠，胜过诸葛亮”，便是体现了这种思想。 我们一般选定加权平均的方法来构造集成学习的最终学习器。 但是里面的每一个 弱分类器（i）怎样构造呢？ 有一些研究，是针对每个学习器都不同构的情况，比如识别一个人，一个学习器考虑脸，另一个考虑步态，另一个考虑指纹。这种研究通常称为Information Fusion，不在我们今天讨论的范畴。 狭义的集成学习（ensemble learning），是用同样类型的学习算法来构造不同的弱学习器的方法。 办法就是改变训练集。 通常的学习算法，根据训练集的不同，会给出不同的学习器。这时就可以通过改变训练集来构造不同的学习器。然后再把它们集成起来。 在原来的训练集上随机采样，可以得到新的训练集。 集成策略 有多种策略可以将q个弱分类器组合成集成分类器。 从大小为n的原始数据集D中独立随机地抽取n’个数据(n’=n)，形成一个自助数据集； 重复上述过程，产生出多个独立的自助数据集； 利用每个自助数据集训练出一个“分量分类器”； 最终的分类结果由这些“分量分类器”各自的判别