最小二乘支持向量机及其改进.docxVIP

最 小 二 乘 支 持 向 量 机 及 其 改 进

其中.a,，a，以O,i=l,2,··?,n, 为拉格朗日乘子。

6L 6L 6L OL

函数L(w,b,a,a·）的极值满足如下条件：一－＝0，一=0，一－＝0，一一＝0, 求解可以

加 6b 装， 近，．

得到：

分(a,五）x，

＄伈－a；.）＝0 ,i=l,2,···, n (2.S)

＂匮l

C-a1-T/,=0

c-a;-.,.,;=o

把(2.5)中各式带入(2.4)中，得到Lagrange对偶问题为：

翌;i\J =?,t l伉 －a,）（“三 ）K(

约束条件为：

,x,

x1) +区（a ，气 ，）－ty,(a ，三） （2.6)

”,I ,.I

s.t.

n

区(a1女 ）＝0

:-=i

O$ai,a,·三C

(2.7)

求解 得到的最 优解 为ii(．)＝（句句，礼，无）T 那么回归函数为：

＂f(x)＝区

＂

i=l

（ii,-ii,体(x·x,)+b

(2.8)

其中6根据公式(2.9)计算：

＂

b=y;

(2.9)

－区（叶a·)K(x-x,)-e

=1

其中K(xlx.f)为核函数，用它来解决非线性回归问题，核函数的种类较多，本文列出以

下几种：

(I)多项式(Poly)核函数 K沁》(x,x,)=(x?x;+l/,deN (2.10)

(2) Sigmoid核函数 K,(x,x,)=tanh(k(x-x,)+u),kO,u0 (2.II)

(3)高斯径向基(RBF)核函数 KRFB

(x,x,)=exp仁片子￡.}aO (2.12)

2,c(4) RQ模型核函数 KRQ(x,x,）＝l- l]x-x,121 0

2,c

IIX-xil|+C

(2.13)

2.2 最小二乘支持向星机

最小二乘支持向董机作为支持向量机改进方法的一种，它是用等式约束代替了传统支持向量机中的不等式约束，此时训练织的经验损失为误差平方和损失函数，从而将支持向噩机的求解问题转化成了求解一个线性方程组的问题，缩短了求解时间。与支持向岳机相比，最小二乘支持向噩机在损失了一定精度的基础上，减小了计宾复杂度，提高了榄型求解问题的速度[32,33)。

2.2.1最小二乘支持向爰机原理

最小二乘支持向益机可以用来建立回归预测模型，最小二乘支持向拯回归机算法的具体原理如下匹

对千非线性回归问题，设一个有n个样本的训练集{xi,yi}=:1，其中第1个输入数据

x,eR，第1个输出数据y(ER。 最小 二乘支持向量回归机的目标是构造一个下面形式的估计函数：

f(x)=wr rp(x)+b (2.14)

可以通过f(x)用样本x近似的估计对应的函数值y。其中，tp(x)是一个非线性映射，能够将输入样本数据映射到对应的高维特征空间中．

LS-SVM的优化目标函数和等式约束如式(2.15)所示：

1 nminJ=－WTW+C

1 n

2 ＝l

(2.15)

sJ.y,=wr p(x,)+b+;,,(i=1,2,···,n)

I上述对偶问题的Lagrange多项式为：

I

L(w,b,,;,a)= IH12 +CI; 矿－区ai(w汤(x,)+b飞，－Y,) (2.16)2 i=1 1=1

其中，＂i是拉格朗日乘子：C是惩罚因 子，是模型验证的参数；点为松弛变盎。由优化

条件—6L=0,—OL=0,—6L=o,6L=o 可得：

加 ob 茨， 如，

w=L“

／一1

a,p(x,)

立，0＝

，一l

a,=C§i

y，＝心（x;)+b+.;;

消去w和g，再利用Mercer条件可以转化为线性方程组：

(2.17)

[K::『沁 ］ (2.18)

其中，a=［亿立＂．．，叫 为拉格朗日乘子向盐，I＝［I,1, l] ? y=[Y,,Y2, ··,y.] , I为单位矩阵，K为核映射矩阵，它的第1行第j列元素为K（口）＝k(X;,Xj )