一种改善的最小二乘支持向量机算法.pdfVIP

! #$# 年% 月 重庆师范大学学报（自然科学版） ’() #$# 第% 卷 第* 期 +’,-.( +/ 01+-234-2 5+,6.( 7-489,:4;（5.;’,.( =49-9 ） ?+() % 5+) * @AB ：$# ) CDEDF ) B==5) $E%G EEDC) #$# ) #* ) #$% 一种改进的最小二乘支持向量机算法! $ 万! 辉 ，魏! 延 （$) 重庆师范大学 科研处； ) 信息科学与工程学院，重庆*###*% ） 摘要：最小二乘支持向量机是标准支持向量机的一种扩展，它是支持向量机在二次损失函数下的一种形式。它用等 式约束代替不等式约束，求解过程变为解一组等式方程，避免了求解耗时的二次规划问题，但同时也丧失了标准支 持向量机的稀疏性，影响了二次学习的效率。针对上述问题，本文提出了一种改进的最小二乘支持向量机增量学习 方法。改进的最小二乘支持向量机算法采用自适应剪枝方法对解进行稀疏，根据每次训练得到的分类器性能来设 定剪枝阈值和样本增量的大小，如果得到的分类器性能好，剪枝阈值和样本增量就大，反之，剪枝阈值和样本增量就 小，从而提高了最小二乘支持向量机训练效率，解决了稀疏性问题。最后，仿真实验表明该算法方案可行。 关键词：最小二乘支持向量机；增量学习；稀疏性 中图分类号： HICD$) * $ 文献标识码：J! ! ! 文章编号：$E%G EEDC（#$# ）#*G ##EDG #* ! ! 支持向量机是?.K-4L［$］等人提出的一类新型 相比有不同的优化函数，这是因为它对每一个数据 ［ ］ 机器学习方法，已在很多领域中得到了成功应用 。 点都加入一个改正量! ，使不等式约束变为等式约 但是该方法的具体实现算法在计算上存在着一些问 束，故只需解线性等式方程组，计算量减少，最重要 题，包括训练算法速度慢、算法复杂而难以实现以及 的是避免了支持向量机中的惩罚因子# 值的选择问 测试阶段运算量大等。为了减少支持向量机学习方 题。对于支持向量机在样本集中自动选取支持向量， 法的计算复杂性，笔者利用支持向量机优化问题本 随着参数的改变，支持向量也随着改变，并且只有支 身所具有的特性，提出了改进的支持向量算法［CGM ］。 持向量对应的N.2,.-29 乘子 不为零。而最小二乘 ! 最小二乘支持向量机是标准支持向量机的一种 支持向量机所有的样本都当作了支持向量，每一个 扩展，它是支持向量机在二次损失函数下的一种形 样本对应一个 ，且 可正可负，这是由于目标函 ! ! 式。它用等式约束代替不等式约束，求解过程变为 % 数采用了$ 范数