feisher線性判别分类器的设计实验报告.docVIP

模式识别实验报告 实验二 Fisher线性判别实验 一、实验目的 应用统计方法解决模式识别问题的困难之一是维数问题， 低维特征空间的分类问题一般比高维空间分类问题简单。 因此， 人们力图将特征空间进行降维， 降维的一个基本思路是将 d 维特征空间投影到一条直线上， 形成一维空间， 这在数学上比较容易实现。 问题的关键是投影之后原来线性可分的样本可能变为线性不可分。 一般对于线性可分的样本， 总能找到一个投影方向， 使得降维后样本仍然线性可分。 如何确定投影方向使得降维以后， 样本不但线性可分， 而且可分性更好（即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布），就是 Fisher 线性判别所要解决的问题。 本实验通过编制程序让初学者能够体会 Fisher 线性判别的基本思路，理解线性判别的基本思想，掌握 Fisher 线性判别问题的实质。 二、实验原理 Fisher 线性判别分类器（Fisher Linear Discriminant Analysis,FLDA）,此方法的基本思想是在Fisher准则下，先求解最佳鉴别矢量，然后将高维的样本投影到最佳鉴别矢量张成的空间，使投影后的样本在低维空间有最大类间距离和最小类内距离，这样在低维空间中样本将有最佳的可分性，分类是一项非常基本和重要的任务，并有着极其广泛的应用。分类是利用预定的已分类数据集构造出一个分类函数或分类模型(也称作分类器)，并利用该模型把未分类数据映射到某一给定类别中的过程。分类器的构造方法很多，主要包括规则归纳、决策树、贝叶斯、神经网络、粗糙集、以及支持向量机(SVM)等方法。其中贝叶斯分类方法建立在贝叶斯统计学[v1和贝叶斯网络[s1基础上，能够有效地处理不完整数据，并且具有模型可解释、精度高等优点，而被认为是最优分类模型之一[9]。尤其是最早的朴素贝叶斯分类器[l0l虽然结构简单，但在很多情况下却具有相当高的分类精度，可以达到甚至超过其它成熟算法如c4.5[l’]的分类精度，而且对噪声数据具有很强的抗干扰能力。因此，对贝叶斯分类算法的深入研究，无论对其理论的发展，还是在实际中的应用，都具有很重要的意义。 三、实验说明及要求 1.Fisher准则函数为： 2．各类样本均值向量 =,i=1,2 3．样本类内离散矩阵和总类内离散矩阵 . 4．样本类间离散矩阵 = 三、实验过程及结果 给出样本及确定类别m1和m2第一类样本放在m1中，第二类样本放在m2中。 编程产生样本的协方差矩阵、平均值、总协方差，用Fisher线性判别方法对三维数据求最优方向W的通用函数。 求取数据分类的 Fisher 投影方向的程序如下：其中 w 为投影方向，总类内散度Sw，均值是u1,u2。 clear clc ……. w=inv(Sw)*(u1-u2); 对下面表1-1样本数据中的类别m1和m2计算最优方向W。 画出最优方向W的直线，并标记出投影后的点在直线上的位置。 表1-1 Fisher 线性判别实验数据 类别 m1 m2 样本 X1 X2 X3 X1 X2 X3 1 -0.4 0.58 0.089 0.83 1.6 -0.014 2 -0.31 0.27 -0.04 1.1 1.6 0.48 3 -0.38 0.055 -0.035 -0.44 -0.41 0.32 4 -0.15 0.53 0.011 0.047 -0.45 1.4 5 -0.35 0.47 0.034 0.28 0.35 3.1 6 0.17 0.69 0.1 -0.39 -0.48 0.11 7 -0.011 0.55 -0.18 0.34 -0.079 0.14 5、 画出投影前的两类样本点和投影线。 figure(1) plot3(x1,y1,z1,r*,x2,y2,z2,b*); 6、画出投影后的两类样本点和投影线。 figure(2) x=-1:0.1:1; y=w(2,1)/w(1,1)*x; z=w(3,1)/w(1,1)*x; plot3(x,y,z); hold on 7、选择决策边界，实现新样本xx1=（-0.7,0.58,0.089 ），xx2= （0.047,-0.4,1.04）的分类编程判断xx1和xx2分别属于哪一类？ 8、程序运行结果如图 1-1 和图 1-2 所示。 图 1-1 试验程序(matlab版)： clear clc close all; %m1,m2均为10个样本 % m1=[-0.4,0.58,0.089;-0.31,0.27,-0.04;0.38,0.055,-0.035;-0.15,0.53,0.011;-0.35,0.47,0.034;0.17,0.69,0.1;-0.011,0.55,-0.18]; % m2=[0.