模式识别第6篇.pptVIP

最近邻法的错误率 小结 模式分类方法总结 一、参数判别分类方法与非参数判别分类方法的区别 参数判别方法: 此方法的前提是对特征空间中的各类样本的分布清楚，因此一旦要测试分类样本的特征向量值X已知，就可以确定X对各类的后验概率，也就可按相应的准则计算与分类。如果这种分布可以用正态分布等描述，那么决策域的判别函数与分界面方程就可用函数的形式确定下来。所以判别函数等的确定取决于样本统计分布的有关知识。因此参数分类判别方法一般只能用在有统计知识的场合，或能利用训练样本估计出参数的场合。 模式分类方法总结 非参数分类判别方法: 此方法着眼于直接利用训练样本集，省去参数估计这一环节，这样一来，从保证最小错误率的原则出发计算确定判别函数的方法就不适用了。因此非参数分类判别方法只能根据一些其它准则来设计分类器。分类器的效果好坏，常指分类的错误率，一般在理论上很难说明，主要靠实践来检验。所选择的判别函数型式，所使用的训练样本集，以及所用的算法对结果都会有影响。 模式分类方法总结 二、非参数分类判别方法的基本做法 使用非参数分类判别方法进行分类器设计主要包含两个步骤： （1）一个是确定的使用的判别函数类型或决策面方程类型，如线性分类器、分段线性分类器，非线性分类器等或近邻法等。如果使用人工神经元网络，则怎样的网络结构也隐含了所使用的函数形式。 （2）另一个步骤是在选定的函数类型网络结构等条件下，确定相应的参数，从而完成整个分类器设计。 模式分类方法总结 三、决策面方程的显式表示和隐式表示 对一个分类的决策域划分一般可采用两种形式，一种是用函数直接表示分界面方程，如线性方程式表示的边界等。另一种则用隐含形式，例如我们用最小距离分类器就代表了这种类型，其实这两种形式是等价的。如二维空间的最小距离分类器用最小距离表示等价于连接m1与m2线的垂直平分线 。 Fisher准则、支持向量机与局部训练法等用的是显式表示，而错误修正法和近邻法则可以说是隐式表示。 模式分类方法总结 四、基于相似度的分类判别方法 判别函数的隐式表示与使用基于相似度判别的原则有关。如近邻法是用距离远近表示相似程度，错误修正法用样本向量与增广权向量的点积运算，也可在一定程度上看作相似度。在多类问题上，往往用计算相似度较方便。 模式分类方法总结 五、Fisher准则 Fisher准则是传统模式识别方法中的典型方法，它强调将线性方程中的法向量与样本的乘积看作样本向量在单位法向量上的投影，如能做到不同类的样本在法向量上的投影呈现类内聚集，类间分开的效果，则对减少错分类有利。所得最佳法向量计算式为 模式分类方法总结 六、感知准则函数方法 这种方法提倡用错分类提供的信息修正错误，这种思想对机器学习的发展以及人工神经元网络的发生发展产生深远影响。 七、近邻法 近邻法训练样本数量较多时，从渐近错误率角度看，其错误率比较小，是经常使用的模式识别分类方法，比较适合在多类别情况下使用。 * * * * Bian ZhaoQi * Bian ZhaoQi * * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi * * * * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 最近邻法的错误率是比较难计算的，这是因为训练样本集的数量总是有限的，有时多一个少一个训练样本对测试样本分类的结果影响很大。 红点表示A类训练样本，蓝点表示B类训练样本，而绿点O表示待测样本。 假设以欧氏距离来衡量，O的最近邻是A3，其次是B1，因此O应该属于A类； 但若A3被拿开，O就会被判为B类。 6.3.1 近邻法分类错误率计算的偶然性 这说明计算最近邻法的错误率会有偶然性，也就是指与具体的训练样本集有关。 同时还可看到，计算错误率的偶然性会因训练样本数量的增大而减小。 因此我们就利用训练样本数量增至极大，来对其性能进行评价。这要使用渐近概念，以下都是在渐近概念下来分析错误率的。 因此当计算近邻法的分类错误率时，必须考虑N为无穷大时的情况。 用不同组的N个样本对 进行分类， 的最近邻可能是不相同的 。因此有条件概率： N个样本下的错误率为 最近邻法的渐进平均错误率为P 6.3.2 近邻法的分类错误率 贝叶