svm原理及应用举例.pdfVIP

SVM原理及应用举例 陈朝虹 硕(1)班 201220109072 SVM例子 % 四个样本[-2,2],[2,-2],[-2,-2],[2,2]，前两个属第一类，后两个属第二类 % 构造输入 data=[1 1 -1 -1; -2 2 -2 2; 2 -2 -2 2]; % quadprog求解二次优化问题 H=zeros(4,4); tag=data(1,:); for i=1:4 for j=1:4 k=(1+data(2:end,i)*data(2:end,j))^2; % 多项式kernal %k=exp(-norm(data(2:end,i)-data(2:end,j))^2/2); % 径向基RBF kernal H(i,j)=tag(i)*tag(j)*k; end end C = 1; %每个权重设置最大的允许值 f = -1*ones(4,1); %二次规划中的f A = []; b = []; Aeq = tag; beq = 0; lb = zeros(4,1); %lb和ub表示sum （alpha*yi）=0 ub = C*ones(4,1); a0 = zeros(4,1); %所有权重的初值 %以下使用二次规划算法调用quadprog [a,fval,eXitflag,output,lambda] = %quadprog(H,f,A,b,Aeq,beq,lb,ub,a0,options) %求解min1/2xT*H*x+fT*x 由此我们把对偶问题加上一个负号 原来求最大变成求最小值 options = optimset; % Options是用来控制算法的选项参数的向量 options.LargeScale = off; options.Display = off; [a,fval,eXitflag,output,lambda]=quadprog(H,f,A,b,Aeq,beq,lb,ub,a0,options); % 求解b b=zeros(1,4); for i=1:4 for j=1:4 k=(1+data(2:end,i)*data(2:end,j))^2; % 多项式kerna %k=exp(-norm(data(2:end,j)-data(2:end,i))^2/2); % 径向基RBF kerna b(i)=b(i)+a(i)*tag(i)*k; end end b=mean(b); % 输出分类结果 result=zeros(1,4); for i=1:4 for j=1:4 k=(1+data(2:end,i)*data(2:end,j))^2; % 多项式kerna %k=exp(-norm(data(2:end,j)-data(2:end,i))^2/2); % 径向基RBF kerna result(i)=result(i)+a(i)*tag(i)*k+b; end end 程序运行结果 采用多项式核： 系数为a= 0.0078 0.0078 0.0078 0.0078 分类结果： result = 1.0312 1.0312 -1.0313 -1.0313 采用径向基RBF 核： 系数为a = 1.0000 1.0000 1.0000 1.0000 分类结果： result = 1.0007 1.0007 -1.0007 -1.0007 SVM理论基础 如上图所示，有一堆训练数据的正负样本，标记为： 假设有一个超平面H： 可以把这些样本正确无误地分割开来，同时存在两个平行于 H的超平面 H1和 H2： 使离H最近的正负样本刚好分别落在H1和H2上，这样的样本就是支持向量。那么其他所 有的训练样本都