基于凹凸过程的双支持向量机.PDF

第２８卷　第１０期 重 庆 理 工 大 学 学报（自然科学） ２０１４年１０月 Ｖｏｌ．２８　　Ｎｏ．１０ ＪｏｕｒｎａｌｏｆＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ） Ｏｃｔ．２０１４  ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７４－８４２５（ｚ）．２０１４．１０．０１８ 基于凹凸过程的双支持向量机 周　哲，杨志霞 （新疆大学 数学与系统科学学院，乌鲁木齐　８３００４６） 摘　　　要：通过引入Ｒａｍｐ损失函数，针对双支持向量机建立了非凸双支持向量机，并采用凹 凸过程迭代求解。与经典的双支持向量机相比，该算法继承了不平行超平面决策的优点，且支 持向量的个数减少了很多，使其稀疏性更好，从而提高了运行速度。对人工数据和基准数据进 行数值试验，说明了该算法的可行性和有效性。 关　键　词：支持向量机；凹凸过程；双支持向量机；Ｒａｍｐ损失函数 中图分类号：ＴＰ１８１　　　　文献标识码：Ａ 文章编号：１６７４－８４２５（２０１４）１０－００９０－０６ ＴｈｅＣｏｎｃａｖｅＣｏｎｖｅｘＰｒｏｃｅｄｕｒｅｏｆｔｈｅＴｗｉｎＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ ＺＨＯＵＺｈｅ，ＹＡＮＧＺｈｉｘｉａ （ＣｏｌｌｅｇｅｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＳｙｓｔｅｍＳｃｉｅｎｃｅｓ，ＸｉｎｊｉａｎｇＵｎｉｖｅｒｓｉｔｙ，Ｕｒｕｍｑｉ８３００４６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｆｏｒｍｕｌａｔｅａｃｏｎｃａｖｅｃｏｎｖｅｘｐｒｏｃｅｄｕｒｅｏｆｔｗｉｎｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ， ｃａｌｌｅｄＣＣＣＰＴＷＳＶＭｆｏｒｓｈｏｒｔ，ｂｙｉｎｔｒｏｄｕｃｉｎｇａｎｅｗｌｏｓｓｆｕｎｃｔｉｏｎ，ａｎｄｕｓｅｄｔｈｅｃｏｎｃａｖｅｃｏｎｖｅｘｐｒｏ ｃｅｄｕｒｅｔｏｓｏｌｖｅｔｈｅｎｏｎｃｏｎｖｅｘｑｕａｄｒａｔｉｃｐｒｏｂｌｅｍｗｉｔｈｉｔｅｒａｔｉｏｎｓ．ＣｏｍｐａｒｅｄｗｉｔｈｔｈｅＴＷＳＶＭ，ｏｕｒ ＣＣＣＰＴＷＳＶＭｉｎｈｅｒｉｔｓｔｈｅｍｅｒｉｔｏｆｎｏｎｐａｒａｌｌｅｌｍｕｌｔｉｓｕｒｆａｃｅｓｄｅｃｉｓｉｏｎｍｅｔｈｏｄ，ａｎｄｄｅｃｒｅａｓｅｓｔｈｅ ｎｕｍｂｅｒｏｆｓｕｐｐｏｒｔｖｅｃｔｏｒｓ，ｔｈｕｓｉｍｐｒｏｖｉｎｇｔｈｅｓｐａｒｓｉｔｙａｎｄｒｕｎｎｉｎｇｓｐｅｅｄ．ＩｎｔｏｙｄａｔａｓｅｔｓａｎｄＵＣＩ ｂｅｎｃｈｍａｒｋｄａｔａｓｅｔｓ，ｏｕｒｎｕｍｅｒｉｃａｌｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈｅｆｅａｓｉｂｉｌｉｔｙａｎｄｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｏｕｒａｌｇｏｒｉｔｈｍ． Ｋｅｙｗｏｒｄｓ：ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ；ｃｏｎｃａｖｅｃｏｎｖｅｘｐｒｏｃｅｄｕｒｅ；ｔｗｉｎｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ；Ｒａｍｐ ｌｏｓｓｆｕｎｃｔｉｏｎ 　　支持向量是一类高效实用的机器学习算法， 少意味着模型的稀疏性越好，从而提高算法的运 常用于处理模式识别和回归估计问题［１－３］。经典 行速度。因此，在建立支持向量机的新算法中，如 ［４］ 的支持向量机 是Ｖａｐｎｉｋ于１９９５年首次提出，它 何减少支持向量的个数已成为一个研究方向。 建立在“最大间隔”原理基础之上。经典的支持向 Ｃｏｌｌｏｂｅｒｔ于２００６年提出了经典支持向量机的 ［５］ 量机对“支持向量”的定义非常完善。支持向量越 凹凸过程 。该算法通过修改损失函数，使新模 　　收稿日期：２０１４－０６－２８ 基金项目：国家自然科学基金资助项目；教育部留学回国人员科研启动基金资助项目 作者简介：周哲（１９８８—