基于Fisher的分类器设计.pptVIP

主 讲：周润景 教授 单 位：电子信息工程学院 基于Fisher的分类器设计 目 录 Fisher判别法简介 Fisher判别法的基本原理 分类器设计 算法实现 识别待测样本类别 结论 Fisher判别法简介 Fisher判别法作为一种分类方法是1936年由 首先提出的。 判别法是一种线性判别法，线性判别又称线性准则，与线性准则相对应的还有非线性准则，其中一些在变换条件下可以化为线性准则，因此对应于 维特征空间，线性判别函数虽然最简单，但是在应用上却具有普遍意义，便于对分类问题理解与描述。 基于线性判别函数的线性分类方法，虽然使用有限样本集合来构造，从严格意义上来讲属于统计分类方法。也就是说，对于线性分类器的检验，应建立在样本扩充的条件下，以基于概率的尺度来评价才是有效的评价。尽管线性分类器的设计在满足统计学的评价下并不严格与完美，但是由于其简单性与实用性，在分类器设计中还是获得了广泛的应用。 Fisher判别法的基本原理 Fisher判别法基本原理是：对于d维空间的样本，投影到一维坐标上，样本特征将混杂在一起，难以区分。 Fisher判别法的目的，就是要找到一个最合适的投影轴w，使两类样本在该轴上投影的交迭部分最少，从而使分类效果为最佳。如何寻找一个投影方向，使得样本集合在该投影方向上最易区分，这就是Fisher判别法所要解决的问题。Fisher投影原理如下所示。 Fisher准则函数的基本思路: 即向量w的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。 Fisher分类器设计 样本在d维特征空间的一些描述量 (1)各类样本均值 (2)样本类内离散度矩阵 与总类内离散度矩阵 (3)样本类间离散度矩阵 Fisher分类器设计 (2)样本类内离散度矩阵 与总类内离散度矩阵 在一维上投影，则有： (1)各类样本均值 Fisher分类器设计 Fisher准则函数定义原则为：希望投影后，在一维空间中样本类别区分清晰，即两类样本的距离越大越好，也就是 均值之差越大越好；各类样本内部密集，即类内离散度 越小越好，根据上述两条原则，构造Fisher准则函数 使得 为最大值的w 即为要求的投影向量 。 进一步化为w的显函数，得到Fisher准则函为： 求解Fisher准则函数的条件极值，即可解得使 为极值的 。 Fisher分类器设计 最好投影方向 阈值点 对于任意未知类别的样本x，计算它的投影点 决策规则为： 算法实现 ◆ 流程图 算法实现 ◆ 样本均值 clear,close all; N=29; %N为训练样本总个数 X = [1495.18 1957.44 3498.02 %X为训练样本 1125.17 1594.39 2937.73 1269.07 1910.72 2701.97 …… ……] m1=mean(X(1:11,:)); %求得第一类样本均值 m2=mean(X(12:29,:)); %求得第二类样本均值 算法实现 ◆ 阈值点 本设计器采用 来确定阈值点，由于它既考虑了样本均值之间的平均距离，又考虑了两类样本的容量大小作阈值位置的偏移修正，因此，采用它可以使得分类误差尽可能小。 算法实现 ◆ 输出分类结果 for i=1:22 y=W*x(i,:) %确定投影点y if yy0 %当yy0时，测试样本属于第一类 disp(一) hold on,plot3(x(i,1),x(i,2),x(i,3),r+,MarkerSize,6,LineWidth,2) else disp(二) %当yy0时，测试样本属于第二类 hold on,plot3(x(i,1),x(i,2),x(i,3),b+,MarkerSize,6,LineWidth,2) end end 识别待测样本类别 ◆ 选择分类方法 识别待测样本类别 种类 分类方法 第一种 第12类作为第一类，第34类作为第二类 第二种 第13类作为第一类，第24类作为第二类 第三种 第14类作为第一类，第23类作为第二类 识别待测样本类别 观察训练样本分布图可知，如果将第1、2类分在一起作为第一类，第3、4类分在一起作为第二