鲁棒最小二乘支持向量回归机.docVIP

鲁棒最小二乘支持向量回归机 　　收稿日期:2010-11-22;修回日期:2011-04-23。 　　作者简介:王快妮（1982-），女，陕西咸阳人，讲师，硕士，主要研究方向：支持向量机、数据挖掘； 马金凤（1968-），女，甘肃武威人，副教授，硕士，主要研究方向：最优化方法； 丁小帅（1983-），女，陕西宝鸡人，讲师，硕士，主要研究方向：神经网络、智能计算。 　　文章编号:1001-9081（2011）08-02111-04doi:10.3724/SP.J.1087.2011.02111 　　（1.石河子大学 师范学院,新疆 石河子832003； 2.西藏民族学院 教育学院,陕西 咸阳712082） 　　（wangkuaini1219@） 　　摘 要:针对最小二乘支持向量回归机（LS-SVR）对异常值较敏感的问题,通过设置异常值所造成的损失上界，提出一种非凸的Ramp损失函数。该损失函数导致相应的优化问题的非凸性，利用凹凸过程（CCCP）将非凸优化问题转化为凸优化问题。给出Newton算法进行求解并分析了算法的计算复杂度。数据集测试的结果表明,与最小二乘支持向量回归机相比，该算法对异常值具有较强的鲁棒性，获得了更优的泛化能力，同时在运行时间上也具有明显优势。 　　关键词:最小二乘支持向量回归机；鲁棒；异常值；损失函数；凹凸过程 　　中图分类号: TP181; TP301.6文献标志码:A 　　Robust least square support vector regression 　　WANG Kuai-ni1, MA Jin-feng1, DING Xiao-shuai2 　　（1. Normal College, Shihezi University, Shihezi Xinjiang 832003, China; 　　2. College of Education, Tibet University for Nationalities, Xianyang Shaanxi 712082, China） 　　Abstract: Least Square Support Vector Regression （LS-SVR） is sensitive to noise and outliers. By setting the upper bound of the loss function, a non-convex Ramp loss function was proposed, which had strong ability of suppressing the impact of outliers. Since the Ramp loss function was neither convex nor differentiable and the corresponding non-convex optimization problem was difficult to implement, the Concave-Convex Procedure （CCCP） was employed to transform the non-convex optimization problem into a convex one. Finally, a Newton algorithm was introduced to solve the robust model and the computational complexity was analyzed. The numerical experimental results on artificial and Benchmark data sets show that, in comparison with LS-SVR, the proposed approach has significant robustness to noise and outliers, and it also simultaneously reduces the training time. 　　Key words: Least Square Support Vector Regression （LS-SVR）; robustness; outlier; loss function; Concave-Convex Procedure （CCCP） 　　0 引言 　　支持向量机（Support Vector Machine， SVM）是一种基于统计学习理论的新型机器学习方法，以结构风险最小化为原则，具有结构简单、全局最优、泛化能力好等优点［1-3］。最小二乘支持