FISHER线性判别MATLAB实现.docx

文档收集于互联网.己重新整理排版 文档收集于互联网.己重新整理排版.word版本可编辑，有帮助欢迎下载支持. 1 1文档来源为:从网络收集整理.word版本可编辑. 文档收集于互联网.己重新整理排版 文档收集于互联网.己重新整理排版.word版本可编辑，有帮助欢迎下载支持. 1 1文档来源为:从网络收集整理.word版本可编辑. Fisher线性判别上机实验报告 班级:学号:姓名: 算法描述 Fisher线性判别分析的基本思想：选择一个投影方向(线性变换，线性组合), 将高维问题降低到一维问题来解决，同时变换后的一维数据满足每一类内部的样本 尽可能聚集在一起，不同类的样本相隔尽可能地远。 Fisher线性判别分析，就是通过给定的训练数据，确定投影方向W和阈值wO, 即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测 试数据的类别。 线性判别函数的一般形式可表示成g (X) = l时X +叫 其中 Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间 分布尽可能分开，类内样本投影尽可能密集的要求。如下为具体步骤: (1)W的确定 各类样本均值向量mi 样本类内离散度攵叫奇扑 宀12散度矩阵S. E xeX, 样本类间离散度矩阵亳 在投影后的一维空间屮，各类样本均值叫 样本类内离散度和总类内离散度取二可丁耳W S；=WTSwW 样本类间离散度s; = wTsbw Fisher准则函数为max.(W)=虹”* Sj+Sj (2)阈值的确定 。是个常数，称为阈值权，对于两类问题的线性分类器可以采用下属决策规则: E(x) = g ”)-g：⑴ 令 则： 如果g(x)0,则决策E*；如果g(x)0,则决策、0卩2：如果g(x)=0,则可将X 任意分到某一类，或拒绝。 (3) Fisher线性判别的决策规则 Fisher准则函数满足两个性质: 1.投影后，各类样本内部尽可能密集，即总类内离散度越小越好。 2.投影后，各类样本尽可能离得远，即样本类间离散度越大越好。 根据这个性质确定准则函数，根据使准则函数取得最大值，可求出 W： ^=8/(01, -m2) o 这就是Fisher判别准则下的最优投影方向。 最后得到决策规则 ￡(罚=j 大于或小于源与、 f W1 2 f X G I ,则 本 对于某一个未知类别的样本向量X,如果y二W\x〉yO,则xGwl；否则 w2o 数据描述 l.iris数据 IRIS数据集以莺尾花的特征作为数据来源，数据集包含150个数据集，有 4维，分为3类，每类50个数据，每个数据包含4个属性，是在数据挖掘、数据 分类中非常常用的测试集、训练集。 Z.sonar 数据 Sonar数据集包含208个数据集，有60维，分为2类，第一类为98个数 据，第二类为110个数据，每个数据包含60个属性，是在数据挖掘、数据分类中 非常常用的测试集、训练集。 实验结果以及源代码 l.lris (1)代码: clc clear data=xlsread (1 Iris); Irisl=data(l:50,l:4); Iris2=daCa(51:100r1:4?; Iris3=daCa(101:150r1:4?; %类均值向覺 ml = mean (Irisl); m2 = mean (Iris2); m3 = mean(Iris3 J; %各类内离散度矩阵 si = zeros (4); zeros(4); s3 = zeros (4); for i=l:l:30 end31 = 31 +(i,:)ml) 1 end 31 = 31 + (i,:) ml) 1 * (Irisl (ir:) 一 ml); s2 + (Iris2(ir:) m2) 1 * (Iris2 (iF:) - m2); end for i=l:l:30 s3 = s3 +(Iris3 (i s3 = s3 + (Iris3 (if:) m3) 1 * (Iris3 (ir:) - m3); end %总类内离散矩阵 swl2 = si + s2 swl3 = si + s3 sw23 =32+33 %投影方向 wl2 = ( (swl2A-l)*(ml -m2) V; wl3 = ( (swl3A-l? *(ml -m3) w23 = ((sw23A-l? *(m2 -m3) 1 1文档来源为:从网络收集整理.word版本可编辑. 文档收集于互联网.己重新整理排版 文档收集于互联网.己重新整理排版.word版本可编辑，有帮助欢迎下载支持. 1 1文档来源为:从网络收集整理.word版本可编辑. 去判别函数以及阂值T (即wO〉 TOC \o 1-5 \h \z T12 = -0.5 * (ml + m2)