feisher线性判别分类器的设计实验报告().doc

实验 Fisher线性判别实验 实验目的应用统计方法解决模式识别问题的困难之一是维数问题， 低维特征空间的分类问题一般比高维空间分类问题简单。 因此， 人们力图将特征空间进行降维， 降维的一个基本思路是将 d 维特征空间投影到一条直线上， 形成一维空间， 这在数学上比较容易实现。 问题的关键是投影之后原来线性可分的样本可能变为线性不可分。 一般对于线性可分的样本， 总能找到一个投影方向， 使得降维后样本仍然线性可分。 如何确定投影方向使得降维以后， 样本不但线性可分， 而且可分性更好（即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布）就是 Fisher 线性判别所要解决的问题。 本实验通过编制程序让初学者能够体会 Fisher 线性判别的基本思路，理解线性判别的基本思想，掌握 Fisher 线性判别问题的实质。 、实验 =,i=1,2 3．样本类内离散矩阵和总类内离散矩阵 . 4．样本类间离散矩阵 = 三、实验编程产生用Fisher线性判别方法对三维数据求最优方向的通用函数。求取数据分类的 Fisher 投影方向的程序如下：其中 w 为投影方向clear clc ……. w=inv(Sw)*(u1-u2); 对下面表-1样本数据中的类别1和2计算最优方向。画出最优方向的直线，并标记出投影后的点在直线上的位置。-1 Fisher 线性判别实验数据 样本 X1 X2 X3 X1 X2 X3 1 -0.4 0.58 0.089 0.83 1.6 -0.014 2 -0.31 0.27 -0.04 1.1 1.6 0.48 3 -0.38 0.055 -0.035 -0.44 -0.41 0.32 4 -0.15 0.53 0.011 0.047 -0.45 1.4 5 -0.35 0.47 0.034 0.28 0.35 3.1 6 0.17 0.69 0.1 -0.39 -0.48 0.11 7 -0.011 0.55 -0.18 0.34 -0.079 0.14 5、 画出投影前的两类样本点和投影线。 figure(1) plot3(x1,y1,z1,r*,x2,y2,z2,b*); 6、画出投影后的两类样本点和投影线。 figure(2) x=-1:0.1:1; y=w(2,1)/w(1,1)*x; z=w(3,1)/w(1,1)*x; plot3(x,y,z); hold on 7、选择决策边界实现新样本xx1=（-0.7,0.58,0.089 ），xx2= 0.047,-0.4,1.04）的分类xx1和xx2分别属于哪一类？ 8、程序运行结果如图 -1 和图 -2 所示。 图 -1 试验程序(matlab版)： clear clc close all; %m1,m2均为10个样本 % m1=[-0.4,0.58,0.089;-0.31,0.27,-0.04;0.38,0.055,-0.035;-0.15,0.53,0.011;-0.35,0.47,0.034;0.17,0.69,0.1;-0.011,0.55,-0.18]; % m2=[0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1;-0.39,-0.48,0.11;0.34,-0.079,0.14]; % a) 对类别m1,m2,利用fisher原则计算投影方向w m1=[0 0 0; 1 0 0; 1 0 2; 1 1 0; 0.5 0 0.5;1 0.5 0;1 0 0.5]; m2=[0 0 1; 0 1 0; 0 1 1; 1 2 1;0 0.5 1;0 1 0.5; 0.5 1 2]; u1=mean(m1);%求均值 u2=mean(m2); %计算类内散度Si和总类内散度Sw % S1=(m1(1,:)-u1)*(m1(1,:)-u1) % S2=(m2(1,:)-u2)*(m2(1,:)-u2) % for i=2:7 % S1=S1+(m1(i,:)-u1)*(m1(i,:)-u1); % S2=S2+(m2(i,:)-u2)*(m2(i,:)-u2); % end One1=ones(7,1); One2=ones(7,1); S1=(m1-One1*u1)*(m1-One1*u1); S2=(m2-One2*u2)*(m2-One2*u2); Sw=S1+S2; %变换向量 w=inv(Sw)*(u1-u2); %b) 画出投影前的两类样本点和投影线.(即特征向量：各类方差) x1=m1(1:7,1);y1=m1(1:7,2);z1=m1(1:7,3);