基于Moore—Penrose逆矩阵的选择性集成.pdfVIP

第36卷第 11期 光电工程 Vb1-36．NO．1l 2009年 11月 Opto—ElectronicEngineering Nov,2009 文章编号：1003—501X(2009)11—0140—05 基于Moore—Penrose逆矩阵的选择性集成 杨晓霜，汪源源 (复旦大学 电子工程系，上海 200433) ． 摘要：本文提出了一种基于 Moore．Penrose逆矩阵的新型选择性集成学-*7算法。先独立训练出一批个体学习器并 为每个学习器指定一个初始权值，然后应用基于 Moore．Penrose逆矩阵的算法对这些权值进行优化，最后选择权 值较大的个体学习器进行最终集成。本文提出的选择性集成学习算法方法简单、易于实现，执行效率高。对 8个 真实数据集的实验表明，该集成学习算法相对于一般的集成学习算法，可以采用更少的学习器而获得更高的泛化 能力。 关键词：机器学习；集成学习；选择性集成；Moore．Penrose逆矩阵 中图分类号：TP181 文献标志码：A doi：10．3969~．issn．1003．501X．2009．11．028 SelectiveEnsembleBasedonM oore．．PenrosePseudo．．inverse YANG Xiao-shuang，WANG Yuan-yuan (DepartmentofElectronicEngineering，FudanUniversity，Shanghai200433，China) Abstract：A novelselectiveensemblelearningalgorithm isproposedbasedon Moore-Penrosepseudo-inverse．After individuallearningmachineshadbeentrainedindependently,asetofinitialweightswereassignedtotheindividuals． ThenBnmethod basedon Moore·P·enrosepseudo·i·nversewasapplide to optimize theseweightsforaminimum generalizationelTor,andonlythosewithhighweightswouldbechosenforthefinalensemble．Experimentsshow thatthis methodisefficientinthecomputationcomplexityandeasytobeimplemented．Moreover,themethodcanachievehigher generaliaztionabiliytwithamuchsmallerensemblesizethanotherpopularensembleapproaches． Keywords：machinelearning；ensemblelearning；selectiveensemble；Moore--Penrosepseudo-·inverse 0 引 言 集成学习是一种机器学习技术，它采用多个同质的个体学习器(如神经网络、决策树等)对同一个问题 进行学习。由于集成学习可以有效提高学习系统的泛化能力，所以得到了广泛的应用，文献 【1]甚至将集成 学习称为当前机器学习四大研究方向之首。Bagging121和 Boosting 是 目前影响最大的两种集成学习方法。 由于集成学习能够获得比单个学习器更强的泛化能力，所以一种直观的想法便是通过大量学习器的组 合以获得更好的性能。但是Zhou的研究结果 表明，当训练出多个学习器后，从中选择部分进行集成比使 用所有学习器进行集成要好，这就是选择性集成技术的理论基础，即文中所述的M“anycouldbebe~erthan all”的思想，现已被广为接