电子科大研究生课程模式识别作业第1次..doc

模式识别 作业一 1 题目 线性分类器设计 对“data1.m”数据，分别采用感知机、最小平方误差、线性SVM算法设计分类器，分别画出决策面，并比较性能。（注意讨论算法中参数设置的影响。） 2 理论与方法 在维特征空间中，各自的决策曲面是一个超平面，即： (2.1) 其中是权向量，是阀值。如果是决策面上的两个点，则下式有效： (2.2) 由于向量的差值位于决策超平面上(对于任意)，所以从式(2.2)可以很明显看出向量正交于决策超平面。如图2.1： 图2.1 决策线的几何图形。在线的一侧满足，另一侧满足 是到决策超平面的欧几里得距离。 2.1 感知机 假设存在一个由定义的超平面，满足 (2.3) 上式包括不经过原点的超平面情况，即，因为可以通过定义扩展维的向量，于是。 感知机代价定义为： (2.4) ----权向量 ----训练向量子集，是定义的超平面错误分类的部分 ----：当，当 为了计算出代价函数的最小迭代值，利用梯度下降法： (2.5) ----是第次迭代的权向量估计 ----为一系列的正实数，表示搜索步长 由(2.4)的定义以及有效点可得 (2.6) 式(2.6)代入式(2.5)得 (2.7) 2.3 最小二乘法 误差平方和准则，定义为： (2.8) 即对已知训练特征向量的期望输出和实际输出之间的误差进行累加，而不是计算均值。用这种方法，可以减少对概率密度函数信息的需求。式(2.8)对于的最小化，结果为： (2.9) 定义： (2.10) 也就是说，是一个的矩阵，其行是用于训练的已知特征向量，是包含相应期望的向量，则，而且，因此： (2.11) 2.3 支撑矢量机 每个超平面都由方向(由决定)和在空间的具体位置(由决定)来表示。既然我们不想偏袒任何一类，那么可以这样选择超平面：使超平面在每一个方向上与类、类中各自最近的点距离相同。点到平面的距离定义为： (2.12) 现在可以缩放，使得点在类、类中的间隔最近，对于类等于1，对于类等于-1。可以用方程表示为 1. 存在一个间隔，满足 2. 要求满足： 现在的任务概述为计算超平面参数： 最小化(2.13) 约束条件 根据条件 (2.14) 其中，是拉格朗日乘子组成的向量，是拉格朗日函数，定义为 (2.15) 经过一些代数运算得到等价的最优任务为 (2.16) 3 算法实现 主函数 %作业1，线性分类器 clc clear all %画出待分类的向量 Show_the_Pionts() load(x1.mat); load(x2.mat) %感知机算法,p为步长，tPA_w为权向量 p=0.5; tPA_w=the_Perceptron_Algorithm(x1,x2,p); %最小二乘法,[LSM_w,J]=[权向量,误差平方和],d为期望输出比 d=0.67; [LSM_w,J]=Least_Squares_Method(x1,x2,d); %SVM [w,w0]=SVM(x1,x2); 3.1 感知机核心程序 %迭代次数 t=1; %flag=表示没有点被错分 flag=0; %初始权向量 w(1,:)=[1 1 1]; while flag==0 %第一类错分 n1=0; sum1=0; for i=1:N1 if a(1)*w(t,:)*X1(i,:)=0 sum1=p*a(1)*X1(i,:); n1=n1+1; end end %第二类错分 n2=0; sum2=0; for i=1:N2 if a(2)*w(t,:)*X2(i,:)=0 sum2=p*a(2)*X2(i,:); n2=n2+1; end end w(t+1,:)=w(t,:)-sum1-sum2; if n1+n2==0 flag=1; end t=t+1; end 3.2 最小二乘法核心程序 function [w,J]=Least_Squares_Method(x1,x2,d) [N1,M1]=size(x1); [N2,M2]=size(x2); X(1:N1,1)=x1(:,1); X(1:N1,2)=x1(:,2); X(N1+1:N1+N2,1)=x2(:,1); X(N1+1:N1+N2,2)=x2(:,2); X(:,3)=ones(N1+N2,1); %设置期望输出值 y(1:N1,1)=d*ones(N1,1); y(N1+1:N1+N2,1)=-ones(N2,1); w=(X*X)\(X*y); hold on plot([0,-w(3)/w(1)],[-w(3)/w(2),0],k); text(4,-(w(3)+4