模式识别第二次作业.docVIP

模式识别作业报告 组员： 2011302265 孔素瑶2011302268 马征 2011302273 周昳慧 实验目的 （1）试验非参数估计，体会与参数估计在适用情况、估计结果方面的异同。 试验直接设计线性分类器的方法，与基于概率密度估计的贝叶斯分器进行比较。 体会留一法估计错误率的方法和结果。 挑选上次实验中的一种情况（特征、先验概率等），改用Parzen窗法或者kn近邻法估计概率密度函数，得出贝叶斯分器，对测试样本进行测试，比较与参数估计基础上得到的分类器和分类性能的差别。 同时采用身高和体重数据作为特征，用Fisher线性判别方法求分类器，将该分类器应用到训练和测试样本，考察训练和测试错误情况。将训练样本和求得的决策边界画到图上，同时把以往用Bayes方法求得的分类器也画到图上，比较结果的异同。 选择上述，用留一法在训练集上估计错误率，与在测试集上得到的错误率进行比较。 窗宽为（h是调节的参量，N是样本个数） ，（d表示维度）。因为区域是一维的，所以体积为。 Parzen公式为： 。 女生的条件概率密度为： 男生的条件概率密度为： 根据贝叶斯决策规则： （基于类条件概率密度函数） 若0，则判断其为女生，反之为男生。 2、要求是同时采用身高和体重数据作为特征，用Fisher线性判别方法求分类器，将该分类器应用到训练和测试样本，考察训练和测试错误情况。将训练样本和求得的决策边界画到图上，同时把以往用Bayes方法求得的分类器也画到图上，比较结果的异同。 第二步 求各个样本的类内离散度矩阵，及 第三步 ，根据公式求出把二维X空间投影到一维Y空间的最好的投影方向。 第四步 求出一维Y空间中类样本均值: . 第五步 选择阈值：, 第六步 将测试样本中的值代入，求出；若，则属于第一类，反之属于第二类。 3、选择上述或以前实验的任意一种方法，用留一法在训练集上估计错误率，与在测试集上得到的错误率进行比较。 2、Fisher线性判别分类器 3、留一法估计错误率 实验结果 1、 以身高为特征 h=2时得到结果 估计方法 女生先验概率 男生先验概率 男生错误个数 女生错误个数 总错误 男生错误率 女生错误率 总错误率 Parzen窗法 0.25 0.75 22 10 32 8.8% 20% 10.67% 最大似然Bayes 0.25 0.75 29 3 32 11.6% 6% 10.67% 表1-1 以身高与体重作为特征 h=4得到结果 估计方法 女生先验概率 男生先验概率 男生错误个数 女生错误个数 总错误 男生错误率 女生错误率 总错误率 Parzen窗法 0.25 0.75 34 3 37 13.6% 6% 12.33% 最大似然Bayes 0.25 0.75 8 6 14 3.2% 12% 4.67% 表1-2 结果分析：通过比较可知，在用最大似然估计参数估计方法和Parzen非参数估计方法来进行分类时，最大似然估计判别的错误率低。实验二的实验现象尤其明显，用最大似然贝叶斯参数估计男生的错误率要明显比Parzen窗法非参数估计要低得多。实验一Parzen窗法非参数估计女生的错误率比较大，男生的错误率比较不太明显，可以通过女生来得出上述结论。 2、 （1）、用Fisher线性判别方法求分类器，将分类器应用到训练和测试样本Fisher线性判别将训练样本和求得的决策边界画到图上Fisher线性判别方法Parzen窗法有了更进一步的理解。另外，经过讨论我们决定采用先验概率为0.75对0.25，而且，这样的男女比例正好与如西工大这样的工科院校的男女比例相符。 整个作业过程中我们遇到了很多困难，比如编程、数据处理，但是我们组充分得运用了学习、合作、探讨、查改、总结的科学方法并且发挥了积极接受挑战的精神，让这次的大作业在历经坎坷之后获得了让人比较满意的结果。 确定特征及先验概率 选择窗函数及窗宽 用Parzen公式求出男女生类条件概率密度 代入判别函数 N Y 判为男生 判为女生 求出各类样本均值向量 计算类内离散度矩阵 求出最好变换向量 求出一维Y空间各样本均值 求取阈值 将测试样本代入 N Y 判为男生 判为女生 导入两个训练样本集 依次将样本中每一个样本当测试集，余下样本当训练集 用Fisher法判断每一个测试样本 统计错误率