《修剪Bagging集成的方法及其应用 A method for pruning Bagging ensembles and its applications》.pdfVIP

2008年7月 系统工程理论与实践 第7期 文章编号：1000—6788 2008 07—0105J06 修剪Bagging集成的方法及其应用 李 毓h2，徐成贤3 1。西安交通大学经济与金融学院，西安710049；2．信阳师范学院经济与管理学院，信阳464000； 3．西安交通大学理学院，西安710049 摘要： 针对回归问题，通过对ba画ng集成中的每个个体进行重新排序给出了一种修剪ba醇119集成的 方法．该方法使用回归树作为基学习机，从排序后的回归树中选择一部分预测性能较好的个体构建集 成．试验结果表明，基于排序后的大约20％的个体构建的集成除了占用较少的存储空间和具有较快的预 测速度外，其预测性能也比基于所有的个体构建的集成好． 关键词：机器学习；集成学习；Ba画ng集成；回归树；修剪集成 中图分类号：N945．24 文献标志码： A Amethodf．or ensemblesandits pmningBagging applications UYul”，XU Cheng．妇觚3 0fEco∞lIlicsand 0fEconorIlicsafId 1．school Fir幽ce， i’蚰JiaotongU面vers时， i’舳710049，Chi腿；2．Sch00lManag踟把m， inyang 0f NonTlal 464000，C11i衄；3．Sch00l U面versity，Xifl rang science， i’锄Ji舳tongUIlive塔时，Ⅺ’锄710049，Clli胞 Abs岫Ict：This I刚el based t le paper叩鬻n协apn“119删小0don触rirIgre伊e婚Drsge∞mtedbyba_画ng， 0ftlleordefed have w lich basekameraIld鸵lectsa删b8et adoptsnle陀删on订ee鹅the Ie伊陷∞幅that good t0oo惜tmcttlle r豳ult8showtIlat eI玛瞰Ible predicti∞accuIacy pI删ensemble．Theexp响[Ilent￡d t Ie弘珈ed thei面tial 0f e】【ecInion ab砒20％0f conIaimng p00lre|弦洲s。be8id鹄being锄allerand lavillg纽terspeed， thanor罄weU鹊tlle缸Uen8embleiIl山e pem肼玛k虹er ba_gging iIIvestigated喝吕略函onpInblems． e础le Key踟棚s：rr眦 lirIeleaming；en∞nlblekInliIlg；BaggiIlgen∞rIlble；le印essi∞Ⅱee；p玎岍ed 1引言 在机器学习领域中，预测学习任务可以划分为分类和回归两大类，前者的输出为连续值，而后者的输 出为离散值．一般地，一个好的学习机应该具有较强的泛化能力 generalizationc印出l时 ，即根据已有数据 建立的模型应该能很好地处理新的数据．因此，泛化能力一直是机器学习领域内研究的一个主要问题．集 成学习 en—blek枷iIlg 使用多个 通常是同质的 学习机来解决同一个问题，由于它能有效地提高单个 学习机的泛化能力而在近年来得到了越来越多的研究与应用¨。J． 集成学习一般包含两个阶段，即个体学习机生成阶段和个体学习机合并阶段．在个体学习机生成阶 段，利用不同的个体生成方式产生不同的学习机；在个体学习机合并阶段，采用投票或者平均等方式将学 习机进行合并．不同的个体生成方式和个体合并方式会得到不同的集成b’6J． 目前已有很多集成学习算法，ba ；ging…就是其中比较著名的一个．该算法在训练阶段，各学习机的训 练集是利用可重复抽样 b00tstra【ps釉pling【71 技术从原始训练集获得的，其规模与原始训练集的规模相当． 这样，原始训练集中的某些观测可能在新的训练集中出现多次，而另外一些观测则可能一次也不出现。研 究表明…，ba画ng可以显著地提高不稳定的基学习机 即训练集中较小的变化会引起学习机发生较大的变 化 的泛化能力．以往的集成学习算法在生成多个个体学习机之后，通常是利用所有的个体进行合并，因此 收稿日期：2007．1m10 资助项目：河南省软科学研究项目 07嬲21600 作者简介：李毓 1963一 ，男，河南信阳人，西安交通大学经济与金融学院在读博士生，信阳师范学院经济与管理学院副 教授，研究方向：金融优化与风险管理等；徐成贤 1946一 ，男，上海人，西安交通大学理学院教授，博士生导师，研究方向：最 优化方法及其在金融数据挖掘