模式识别大作业—Fisher最近邻.docVIP

姓名： 学号： 题目 对sonar和wdbc中数据表分类实验结果表方法法，降维用fisher判别： 表1 实验数据维数个数wdbc 2 30 =357 =212 sonar 2 60 =98 =110 解： 表2实验结果（）维wdbc 0.95072 0.93283 sonar 0.68608 0.72499 一、Fisher线性判别 Fisher判别法的基本思想是寻找一个最好的投影方向，在这个方向的直线上，d维样本的投影能分开的最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线。这就是fisher法所要解决的基本问题。 一维空间的Fisher线性判别函数为： =,i=1,2 其中，和是两个样本的均值，，分别为各类样本的的类内离散度。投影方向为： （4） （5） 在Fisher判决函数中，分子反应了映射后两类中心的距离平方，该值越大，类间可分性越好；分母反应了两类的类内的离散度，其值越小越好；从总体上讲，的值越大越好，在这种可分性评价标准下，使达到最大值的即为最佳投影方向。 以上所做的全部工作都是将d维空间的样本集映射成一维样本集，然后，我们只需要再确定一个阈值,将投影点与阈值比较，便可作出决策。本程序中，采用的是 阈值=（）/ 2 然后再根据决策规则比较投影与阈值大小就可判断属于什么类型。 Fisher线性判别的主要优点是简单，容易实现，且计算量和存储量小。 二、Fisher线性判别流程图 三、Fisher线性判别实验结果 因为选择训练样本具有随机性，所以进行多次实验，求取判别准确率的平均值。 表一：sonar（fisher） 表二：wdbc(fisher) 运行次数 准确率 1 0.9275 2 0.9424 3 0.9296 4 0.9552 5 0.9254 6 0.9104 7 0.9574 8 0.9339 9 0.9254 10 0.9211 平均准确率 0.93283 运行次数 准确率 1 0.6923 2 0.7692 3 0.7513 4 0.7873 5 0.7130 6 0.7078 7 0.6845 8 0.6690 9 0.7665 10 0.7225 平均准确率 0.7263 四、最近邻法 其基本思想是在训练样本中找到测试样本的最近邻，然后根据这个最近邻样本的类别来决定测试样本的类别，邻近法所选择的邻居都是已经正确分类的对象该算法在分类时该方法的另一个不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的最近邻点。类的判别函数可以写作 决策规则为各类的判别函数比较大小，即 五、最近邻法判别流程图 六、最近邻法判别实验结果 表三 ：sonar（最近邻） 表四：wdbc(最近邻) 运行次数 准确率 1 0.6478 2 0.6750 3 0.7256 4 0.6850 5 0.7130 6 0.6956 7 0.6245 8 0.7237 9 0.7522 10 0.6687 平均准确率 0.6911 运行次数 准确率 1 0.9701 2 0.8881 3 0.9552 4 0.9339 5 0.9318 6 0.9723 7 0.9744 8 1 9 0.9646 10 0.9168 平均准确率 0.95072 七、实验总结 用fisher线性判别分析方法对sonar和wdbc的识别率分别是0.72499和0.93283；而用近邻法得到的识别率分别为0.63055和0.95072。因此在此两组数据中fisher线性判别的识别率要稍微高于近邻法，主要原因可能是这两种类型的点相对集中，存在交叠的情况导致的。 在这个分类实验中fisher判别有着较高的识别率，但不一定适用于所有数据分类。因此要根据具体的应用场合来选择合适的分类方法。 经过几个晚上的艰苦奋斗，努力学习，不断请教前辈大神和上网查询，不断调试程序，最终才得以成功运行，我对这几种判别方法有了更深层次的认识，同时对matlab这个强大的数值计算软件应用的也