基于Boosting的支持向量机组合分类器.pdfVIP

维普资讯 第29卷 第 10期 合肥 工业大学 学报 (自然科学版) VoI．29No．10 2006年 l0月 JOURNALOFHEFEIUNIVERSITYOFTECHNOLOGY Oct．2006 基于 Boosting的支持向量机组合分类器 琚 旭 ， 王 浩， 姚宏亮 (合肥工业大学 计算机与信息学院，安徽 合肥 230009) 摘 要：Boosting是一种有效的分类器组合的方法，文章提出用一个改进的Boosting方法对支持向量机分类 器进行集成学习，得到 Boosting-MuhiSVM分类器 ；试验结果表明，基于 Boosting的支持向量机训练是一个 收敛过程，相 比标准的支持向量机分类器，Boosting-MultiSVM分类器的泛化性能有不同程度的提高。 关键词：支持向量机；Boosring；集成学习 中图分类号 ：TP181 文献标识码：A 文章编号：1003—5060(2006)10—1220—03 Boosting-basedsupportvectormachinescombinationclassifier JU Xu， WANG Hao， YAOHong-liang (SchoolofComputerandInformation，HefeiUniversityofTechnology，Hefei230009，China) Abstract：Boostingisaneffectiveclassifiercombinationmethod．AnimprovedBo ostingmethodispres— ented for supportvectormachine classifiercombination，and a Bo osting—MultiSVM classifier is trained．Experimentalresultsshow thatsupportvectormachinetrainingbasedonBo ostingisconver— gent．TheBo osting-MultiSVM classifierhasbettergeneralizationperformancethanthestandardsup— portvectormachineclassifier． Keywords：supportvectormachine；Boosting；ensemblelearning 分类是机器学习和模式识别的基本问题，提 Es]讨论了SVM与Boosting之间的联系，两者 高分类器的分类性能是分类器研究的主要 目标之 作为分类方法来讲 ，都是基于最大间隔的思想。 一 。 集成学习L1是利用基学习机器的多个版本来 虽然SVM有着较好的泛化性能，但是如果 解决同一个问题，可显著提高学习系统的泛化能 给定的数据集存在不平衡或多样性 ，则训练出的 力，被称为当前机器学习领域的4大研究方向之 分类器效果不会很理想，为了克服这样的问题，文 首。其中，Boosting[。]是集成学习中最具代表性 献E6]提出了用对数 回归的技术对 SVM 进行 和应用前景的方法，它可以有效地对分类器进行 集成。针对任何一个分类器，Boosting方法都可以 组合，提高分类器的准确率。目前支持 向量机 不同程度的提高它的泛化性能，因此本文提出用 SVM[。“]分类器在很多领域都有较好的应用，如 一 个改进的Boosting方法对SVM分类器 (SVC) 模式识别、文本分类及生物信息等。SVM训练算 进行集成学习。 法主要采用分解方法，主要解决大规模数据集的