基于光滑Ramp损失函数的健壮支持向量机.pdfVIP

维普资讯 第25卷第6期 计 算 机 应 用 研 究 Vol_25No．6 2008年 6月 ApplicationResearchofComputers Jun．2008 基于光滑 Ramp损失函数的健壮支持 向量机 孙汪泉 ，王 磊 (1．临沂师范学院信息学院，山东 临沂276005；2．电子科技大学 计算机科学与工程学院，成都 610054) 摘 要：提出一种新型的基于光滑 Ramp损失函数的健壮支持向量机，能够有效抑制孤立点对泛化性能的影 响，并采用CCCP将它的非凸优化 目标函数转换成连续、二次可微的凸优化。在此基础上，给 出训练健壮支持 向 量机的一种 Newton型算法并且分析 了算法的收敛性质。实验结果表 明，提 出的健壮支持 向量机对孤立点不敏 感，在各种数据集上均获得了比传统的SVMlight算法和Newton—Primal算法更优的泛化能力。 关键词 ：支持向量机；光滑Ramp损失函数 ；原始空间；凹凸过程 中图分类号：TP18 文献标志码 ：A 文章编号：1001—3695(2008)06—1676—03 Trainingrobustsupportvectormachinewithsmoothramploss SUN Wang—quan ，WANG Lei (1．SchoolofInformation，Li NormalUniversity，LinyiShandong276005，China；2．SchoolofComputerScience＆Engineering，Universityof Science＆TechnologyofChina．Chengdu610054．China) Abstract：Thispaperproposedanovelrobustsupport vectormachinesbasedonthesmoothRamp lossfunction，whichcan suppresstheinfluencesofoufliersonthegeneralizationabilityeffectively．Theconcave—convexprocedurewasutilizedtotrans— form theassociatednon—convexoptimizationintoacontinuous，twice—differentiableandconvexone．Then，aNewton—typealgo— rithm wasdevelopedtosolveoptimizationofrobustsupport vectormachinesintheprimalspaceandtheconvergenceanalysis wasdone、Experimentalresuhsshowedthattheproposedapproachhadsuperiorrobustnesstooutliersandyieldedgeneraliza— tionimprovementsthantheclassicalSVMl~ghtandNewton—Primalalgorithmsinsyntheticandrealdatasets． Keywords：supportvectormachines(SVMs)；smoothRamploss；primalspace；concave—convexprocedure(CCCP) 支持向量机是现代机器学习理论的最新研究进展之一 ，具