feisher线性判别分类器的设计实验报告.docVIP

实验 Fisher线性判别实验实验目的应用统计方法解决模式识别问题的困难之一是维数问题， 低维特征空间的分类问题一般比高维空间分类问题简单。 因此， 人们力图将特征空间进行降维， 降维的一个基本思路是将 d 维特征空间投影到一条直线上， 形成一维空间， 这在数学上比较容易实现。 问题的关键是投影之后原来线性可分的样本可能变为线性不可分。 一般对于线性可分的样本， 总能找到一个投影方向， 使得降维后样本仍然线性可分。 如何确定投影方向使得降维以后， 样本不但线性可分， 而且可分性更好（即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布）就是 Fisher 线性判别所要解决的问题。 本实验通过编制程序让初学者能够体会 Fisher 线性判别的基本思路，理解线性判别的基本思想，掌握 Fisher 线性判别问题的实质。 、实验 =,i=1,2 3．样本类内离散矩阵和总类内离散矩阵 . 4．样本类间离散矩阵 = 三、实验编程产生用Fisher线性判别方法对三维数据求最优方向的通用函数。求取数据分类的 Fisher 投影方向的程序如下：其中 w 为投影方向clear clc ……. w=inv(Sw)*(u1-u2); 对下面表-1样本数据中的类别1和2计算最优方向。画出最优方向的直线，并标记出投影后的点在直线上的位置。-1 Fisher 线性判别实验数据 样本 X1 X2 X3 X1 X2 X3 1 -0.4 0.58 0.089 0.83 1.6 -0.014 2 -0.31 0.27 -0.04 1.1 1.6 0.48 3 -0.38 0.055 -0.035 -0.44 -0.41 0.32 4 -0.15 0.53 0.011 0.047 -0.45 1.4 5 -0.35 0.47 0.034 0.28 0.35 3.1 6 0.17 0.69 0.1 -0.39 -0.48 0.11 7 -0.011 0.55 -0.18 0.34 -0.079 0.14 5、 画出投影前的两类样本点和投影线。 figure(1) plot3(x1,y1,z1,r*,x2,y2,z2,b*); 6、画出投影后的两类样本点和投影线。 figure(2) x=-1:0.1:1; y=w(2,1)/w(1,1)*x; z=w(3,1)/w(1,1)*x; plot3(x,y,z); hold on 7、选择决策边界实现新样本xx1=（-0.7,0.58,0.089 ），xx2= 0.047,-0.4,1.04）的分类xx1和xx2分别属于哪一类？ 8、程序运行结果如图 -1 和图 -2 所示。 图 -1 试验程序(matlab版)： clear clc close all; %m1,m2均为10个样本 % m1=[-0.4,0.58,0.089;-0.31,0.27,-0.04;0.38,0.055,-0.035;-0.15,0.53,0.011;-0.35,0.47,0.034;0.17,0.69,0.1;-0.011,0.55,-0.18]; % m2=[0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1;-0.39,-0.48,0.11;0.34,-0.079,0.14]; % a) 对类别m1,m2,利用fisher原则计算投影方向w m1=[0 0 0; 1 0 0; 1 0 2; 1 1 0; 0.5 0 0.5;1 0.5 0;1 0 0.5]; m2=[0 0 1; 0 1 0; 0 1 1; 1 2 1;0 0.5 1;0 1 0.5; 0.5 1 2]; u1=mean(m1);%求均值 u2=mean(m2); %计算类内散度Si和总类内散度Sw % S1=(m1(1,:)-u1)*(m1(1,:)-u1) % S2=(m2(1,:)-u2)*(m2(1,:)-u2) % for i=2:7 % S1=S1+(m1(i,:)-u1)*(m1(i,:)-u1); % S2=S2+(m2(i,:)-u2)*(m2(i,:)-u2); % end One1=ones(7,1); One2=ones(7,1); S1=(m1-One1*u1)*(m1-One1*u1); S2=(m2-One2*u2)*(m2-One2*u2); Sw=S1+S2; %变换向量 w=inv(Sw)*(u1-u2); %b) 画出投影前的两类样本点和投影线.(即特征向量：各类方差) x1=m1(1:7,1);y1=m1(1:7,2);z1=m1(1:7,3); x2=m2(