实验三线性分类器.doc

线性分类器设计 一、实验要求 在本次实验中，将基于线性判别函数来设计线性分类器。给出在两类情况下，基于几个常用的准则函数（准则函数包括Fisher准则，感知准则，最小平方误差即MSE准则）的线性分类器设计方法以及线性支持向量机分类，选择其中两种方法分别设计线性分类器并评价结果。 二、实验目的 首先明确线性判别函数的基本概念和设计线性分类器的核心要求。然后熟练掌握基于几个常用的准则函数和支持向量机进行线性分类器的设计，了解各个准则函数的相同和不同之处，各准则函数的特点。最后要求掌握结果评价的方法。 三、实验结果 1.基于Fisher准则函数来设计线性分类器。 Fisher线性判别的思想是:将所有的样本都投影到Fisher准则下的最佳投影方向，这样能保证投影后类间相隔远，而类内尽可能聚集。然后在这个一维空间中确定一个分类的阈值，过这个阈值点且与投影方向垂直的超平面就是两类的分类面。Fisher线性判别函数为: (1)两类样本线性可分 由上图可以看出，当样本是线性可分的时候，Fisher准则函数能够较好的确定阈值、找出分类面。 （2）两类样本线性不可分 当样本集线性不可分时，能找到最佳投影方向，投影后两类的样本还是混在一起，存在错分的现象 2.基于感知准则函数来设计线性分类器。 感知器准则函数的思想是：找到一个解向量a，能够使规范化增广样本向量都满足,i=1,2,…,N。 为规范化增广样本向量 感知器线性判别函数为： 决策规则是：如果，则样本属于第一类，如果，则样本属于第二类。 为了使解向量更加靠近解区中间、更加可靠，可以适当的引入余量b，此时求解解向量的方程变为。解向量可以用梯度下降方法来迭代求解，在求解解向量的过程中，采用不同的初始权向量、不同的步长、不同的余量求解得到的解向量会有所不同。 (1)两类样本线性可分（初始权向量[0;0;0]，步长1，不考虑余量） （2）两类样本线性不可分（初始权向量[0;0;0]，步长1,迭代次数 4800次） 当用感知器来处理线性不可分的样本时，找不到一个解向量能够满足所有的样本，算法不收敛，上图为迭代4800次的结果。存在错分现象，但是比fisher准则函数错分的样本少。 3.基于最小平方误差即MSE准则设计线性分类器。 MSE准则的思想是：在感知器的基础上，当样本是线性不可分的情况下，找到一个解向量a使被错分的样本尽可能的少，即不满足不等式的样本尽可能少，这种方法是通过解线性不等式组来最小化错分样本数目。 MSE准则函数的最小化主要有两类方法：伪逆法求解和梯度下降法求解，我在试验中采用伪逆法求解， 。 选择不同的b会带来不同的结果，如果对应同一类样本的b选择相同的值，那么MSE方法的解等价于fisher线性判别的解；如果对所有的样本都取b=1，那么当样本个数趋于无穷的时候，MSE方法的解是贝叶斯判别函数的最小平方误差逼近。我在实验中采用第一种方法，第一类所有样本b赋值为1，第二类所有样本的b赋值为1.2，结果如下图所示： （1）两类样本线性可分 （2）两类样本线性不可分 由上图可以看出，当样本线性不可分时，同样的样本， 和fisher准则、感知器准则相比，MSE准则错分的样本最少。 四、回答问题 1、fisher分类器中，如何找到最佳投影方向？ 答：可以取作为Fisher判别准则下的最佳投影方向。 2、感知器中，通过调节步长，对实验结果有无影响。 答：步长对解向量和迭代次数有影响，具体数据如下表所示（线性可分样本）： 初始权向量 [0;0;0] [1;1;1] 步 长 0.1 0.5 1 0.1 0.5 1 迭代次数 202 202 202 202 52 103 解向量 1.3000 -0.0660 -0.3335 6.5000 -0.3298 -1.6673 13.0000 -0.6596 -3.3347 2.1000 0.0071 -0.5218 1.5000 0.0668 -0.4282 7.0000 1.7068 -2.3228 3、在线性分类器的实验中，基于哪些准则的分类器适用于线性可分，哪些还适用于线性不可分。 答：基于Fisher准则和基于感知准则设计的分类器适用于线性可分，基于最小平方误差和基于线性支持向量机的设计的分类器还适用于线性不可分。 五、实验所用数据及主要程序代码 线性可分样本（两类）： 2.4364 1.4956 2.1021 3.1963 2.1203 0.96316 1.1429 1.8301 1.8083 1.1342 2.1807 3.2665 1.7488 1.7954 -0.20152 1.2255