Fisher线性分类器的设计2.docxVIP

实验二、Fisher线性分类器的设计1、实验目的掌握Fisher线性判别方法掌握Bayes决策的错误率的计算（3） 掌握分类器错误率的估算方法（4） 对模式识别有一个初步的理解2、实验原理Fisher准则基本原理：如果在二维空间中一条直线能将两类样本分开，或者错分类很少，则同一类别样本数据在该直线的单位法向量上的投影的绝大多数都应该超过某一值。而另一类数据的投影都应该小于(或绝大多数都小于)该值，则这条直线就有可能将两类分开。 准则：向量W的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。这就是Fisher准则函数的基本思路。 y=WTX+W0评价投影方向W的函数 ：最佳W值的确定：求取使JF达极大值时的 w*：向量就是使Fisher准则函数达极大值的解，也就是按Fisher准则将d维X空间投影到一维Y空间的最佳投影方向，该向量的各分量值是对原d维特征向量求加权和的权值。 w0确定 ：当W0确定之后，则可按以下规则分类，　　　　　　　　使用Fisher准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。3、实验内容及要求考虑Fisher线性判别方法，利用实验1中程序产生的数据（分别在各类样本数均为50及500时），计算：求解最优投影方向W；画出表示最优投影方向的直线，并且标记出投影后的点在直线上的位置；计算投影后的阈值权；计算分类器的各类错误率及总的平均错误率； 计算按最小错误率Bayes决策的错误率（各类先验概率相同）实验结果上图可以看出在N=50时的情况下绿色的点是第一类样本点，蓝色的*给出了第二类样本点，红色的直线是最优投影方向的直线，+标出的点是W0点，直线上不同颜色代表了不同类样本点所投影的点的位置。N=50时，类一的错误概率为0 类二的错误概率为 8% 平均错误概率为 1% Bayes决策错误率为0% 最佳投影方向5、结论通过对实验结果的探究，可以得出当样本数比较大的时候类错误概率会上升。的比例因子对于Fisher判别函数没有影响的原因：在本实验中，最重要的是W的方向，或者说是在此方向上数据的投影，所以W的比例因子，即它是单位向量的多少倍长就没那么重要了，不管比例因子大小是多少，在最后求投影时都会被消掉。6、实验程序N = 50;%样本数为50时mu_1 = [-2,-2];Sigma_1 = [1,0;0,1];r_1 = mvnrnd(mu_1,Sigma_1,N);mu_2 = [2,2];Sigma_2 = [1,0;0,4];r_2 = mvnrnd(mu_2,Sigma_2,N);m_1 = mean(r_1);m_2 = mean(r_2);S_1 = [0,0;0,0];S_2 = [0,0;0,0];for n = 1:N S_1 = S_1 + (r_1(n,:) - m_1)*(r_1(n,:) - m_1); S_2 = S_2 + (r_2(n,:) - m_2)*(r_2(n,:) - m_2);endSW1 = S_1 + S_2;W_0 = -(m_1+m_2)/2;w = (m_1-m_2)*inv(SW1);%投影向量Sk = w(:,2)/w(:,1);%最优投影方向直线的斜率。x=[-7:0.01:7];y = k*(x-W_0(:,1)) + W_0(:,2);%最优投影方向直线figure(3);plot(r_1(:,1),r_1(:,2),g.);title(样本数为50时的样本分布图);hold on;plot(r_2(:,1),r_2(:,2),*);plot(W_0(1),W_0(2),+);plot(x,y,r);%画出最优投影方向直线A0=[k -1;1 k];X0=zeros(2,N);for n=1:N b=[k*W_0(:,1)-W_0(:,2) r_1(n,1)+k*r_1(n,2)]; X0(:,n)=inv(A0)*b;endA1=[k -1;1 k];X1=zeros(2,N);for n=1:N b1=[k*W_0(:,1)-W_0(:,2) r_2(n,1)+k*r_2(n,2)]; X1(:,n)=inv(A1)*b1;endplot(X0(1,:),X0(2,:),g);plot(X1(1,:),X1(2,:),b);hold off;en1=0;en2=0;for m=1:Nif X0(1,m) W_0(:,1) en1=en1+1;endif X1(1,m) W_0(:,1)