最小二乘支持向量机的参数优化算法研究.pdfVIP

第30卷第4期 杭州电子科技大学学报 V01．30，No．4 of ∞m年∞月 Journal IIa咖DidUI函∞鲫 ^I萼．2010 最小二乘支持向量机的参数优化算法研究 李春香1，张为民2，钟碧良2 (1．广卅航海高等专科学校轮机系，广东广州510725； 2．广州航海高等专科学校计算机系，广东广州510725) 摘要：该文针对最小二乘支持向量机的参数优化存在的问题，提出交叉验证的最小二乘支持向量 机的参数自调整优化算法，用非线性测试函数的数据进行训练，并用于水下FCAW熔深多信息在 线监测。最后把最小二乘支持向量机与传统的BP网络预测结果进行比较，结果证明，该模型的预 测精确度是令人满意的，该文提出的方法是可行的。 关键词：最小二乘支持向量机；参数优化；水下焊接；熔深预测 中图分类号：TP301 文献标识码：A 文章编号：1001—9146(2010)04—0213—04 0引言 一种新型统计学习方法一支持向量机SVM[1,2J，成为机器学习界的研究热点，在很多领域都得到了 成功的应用。近年，文献3，4，5提出最小二乘支持向量机方法LS—SVM，应用到模式识别和非线性函数 逼近中，取得了较好的效果。但在LS—SVM方法中，岱一SVM模型参数的选择是一个尚待解决的问题。 对于选择核函数为径向基函数的LS—SVM，需要确定两个参数：可调超参数和径向基函数的宽度。通 常确定这两个参数的方法有两种：一是所有样本集既作为训练集又作为测试集，调整LS—SVM参数，直 到误差最小；二是所有样本集分为训练集和测试集，调整LS—SVM参数，直到误差最小。然而第一种方 法容易产生过拟合现象，第二种方法如果样本数据点少就不能充分利用所有样本。目前常用的交叉验 证法则综合了这两种方法，其基本思想是将样本集均分为K组，用K一1组作为训练集来设计预测模 型，剩下一组为验证集来验证模型预测性能。然后将其放回，再另外取K一1组作为训练集重复以上过 程，这样设计预测模型K次，验证K次，并计算预测误差。以此为依据来调整LS—SVM参数，直到得到 误差最小的模型。但在具体实施过程中，如果待定两个参数为固定参数集，则有可能出现预测误差精度 不能满足要求的情况；如果采用网格搜索法先确定每个参数的取值范围，然后对每个参数进行插值，得 出若干组参数组合，然后对每组参数组合进行交叉验证计算，可获得预测误差最小的参数组合。该方法 一定程度上解决了模型选择的问题，但其局限性是只适合于参数组合较少的情况，当参数组合过多时将 会使搜索工作量增大，搜索效率降低。本文研究基于交叉验证的优化参数LS—SVM建立预测模型，并 通过非线性系统预测仿真实验和水下药芯焊丝电弧焊FCAW熔深预测实验，来检验交叉验证的LS— SVM优化参数方法。 1最小二乘支持向量机算法 非线性函数估计模型为： y=山(x)+b (1) 其中，甲(x)为把训练数据映射到高维特征空间的非线性映射，W为权向量，b为偏置量。根据结构 风险最小化SRM原则，综合考虑正则化项与训练误差的平方和，将问题转化为如下有约束二次优化问 收稿日期：2010—04—10 基金项目：广东省高等院校学科建设专项资金资助项目(06zw．s) 作者简介：李春香(1965一)，女，辽宁新民人，副教授，控制理论与控制工程． 214 杭州电子科技大学学报 20lO年 题，其存在唯一最优解： lllinJ(w，e)=告wTw+百1，厶*ei2 (2) 约束条件为： i=1，2，…，1 (3) Yi=w：～(】【i)+b+ei 式中，ei为第i个样本点的