最小二乘支持向量机的研究与应用.pdfVIP

2009 年 2 月 ( ) Feb . 2009 安庆师范学院学报 自然科学版 第 15 卷第 1 期 ( ) Vol . 15 No . 1 J ournal of Anqing Teacher s College Natural Science Edition 最小二乘支持向量机的研究与应用 冯 学 军 (安庆师范学院 计算机与信息学院 ,安徽 安庆 246 133) 　　摘 　要 : 支持向量机是近年来机器学习领域出现的新的分类方法 。在介绍支持向量机的基本原理及基于最小二乘 支持向量机算法的基础上 ,结合一个实例阐述了最小二乘支持向量机在预测方面的应用 ,通过 MA TL AB 仿真实验 ,结果 表明该方法是有效的。 关键词 : 支持向量机 ;最小二乘法 ;预测 中图分类号 : TP 181 　　文献标识码 : A 　　　　文章编号 : 1007 - 4260 (2009) 0 1 - 0 112 - 02 　　0 　引言 ( ) [ 1] 支持向量机 Support Vector Machine 是 Vap nik 等人根据统计学理论提出的一种新的通用学习方法 ,它是建立 ( ) ( 在统计学理论的 V C 维 Vap nik Chervonenk s Dimen sion 理论和结构风险最小原理 St ruct ural Ri sk Minimization Induc tive Princip le) 基础上的 ,能较好地解决小样本 、非线性 、高维数和局部极小点等实际问题 , 已成为机器学习界的研究热点 之一 ,并成功地应用于分类 、函数逼近和时间序列预测等方面 。但是 , SV M 在解决大样本问题时面临一些问题 , 比如二 ( ) 次规划 Q P 问题 ,传统的算法在每一步迭代中要进行核函数的矩阵运算 ,而核函数的矩阵占有的内存随样本数呈平方 增长 。由于迭代误差的积累 ,会导致算法的精度无法接受等 。最小二乘支持向量机[2 ] 是支持向量机的改进 ,与标准 SV M 模型比较 ,该方法优势明显 : ( 1) 用等式约束代替标准 SV M 算法中的不等式约束 ; (2) 将求解二次规划问题转化为 直接求解线性方程组 。本文介绍最小二乘支持向量机的实现原理并将其运用于时间序列的预测以验证其有效性 。 1 　最小二乘支持向量机的原理 Suyken 等人提出的最小二乘支持向量机是近年来统计学习理论的重要成果之一 ,最小二乘支持向量机的训练过程 也遵循结构风险最小化原则 ,将不等式约束改为等式约束 ,将经验风险由偏差的一次方改为二次方 ,将求解二次规划问 题转化为求解线性方程组 ,避免了不敏感损失函数 ,大大降低了计算复杂度 ,且运算速度高于一般的支持向量机 。 最小二乘支持向量机算法描述如下 : ( ) n φ(