近邻方法 模式识别.pptVIP

第六章 最近邻方法Nearest NeighbourClassification6.1 最近邻决策规则6.2 剪辑最近邻法6.3 误判概率及其上下界 6.1 最近邻决策规则—1-NN最近邻方法c类问题,设最近邻分类规则:对待识别模式 , 分别计算它与个已知类别的样本 的距离,将它判为距离最近的那个样本所属的类。即如果则 最近邻方法6.1 最近邻决策规则—1-NN(1)已知N个已知 (2)输入未知类别类别样本X 样本x(3)计算x到xi?X，(i=1,2,…,N)的距离d (x)i(4)找出最小距离(6) 判x?ω2d (x)=min{d (x)}mi(5)看x 属于哪m一类：x ?ωm 2 6.1最近邻决策规则—k-NN最近邻方法k-NN分类思想:对待识别模式 , 分别计算它与个已知类别的样本 的距离,取k个最近邻样本,这k个样本中哪一类最多, 就判属哪一类。即,令 与ω 的距离i如果则其中 表示k个近邻元中属于ω 的样本个数i 6.1 最近邻决策规则—k-NN最近邻方法(2)输入未知类别样本x(1)已知N个已知类别样本X(4)找出x的k个最近邻元X ={x ,i=1,2,…,k}(6) 判x?ω2ki(5)看X 中属于哪一类的样k本最多k =3k =412 6.2 剪辑最近邻方法对于两类问题，设将已知类别的样本集X(N)分成参照集XX=(NR)和测试集 (NT)两部分，X(NR)?X ?，它们的样本数(NT)各为NR和NT，NR+NT=N。利用参照集X(NR)中的样本采用最近邻规则对已知类别的测试集X 中的每个样本(NT)进行分类，剪辑掉X(NT)中被错误分类的样本。若是的最近邻元，剪辑掉与 异类的 ，余下的判决正确的样本组成剪辑样本集X(NTE) 。这一操作称为剪辑。 剪辑最近邻方法获得剪辑样本集X(NTE)后，对待识模式 采用最近邻规则进行分类。如果则这里 剪辑最近邻方法用X(NR)中的样本采用最近邻规则对X(NT)中的每个样本分类，剪辑掉X(NT)中被错误分?ω1?ω2?X(NR)?X(NT)类的样本。余下判决正确的用X(NTE) 对输入的未知样本做K-NN分类。样本组成剪辑样本集X 。(NTE) 6.2.2 剪辑k-NN最近邻方法剪辑最近邻方法剪辑最近邻法可以推广至k-NN近邻法中。步骤：第一步 用k-NN 法进行剪辑;第二步 用1-NN 法进行分类。如果样本足够多，就可以重复地执行剪辑程序，以进一步提高分类性能。称为重复剪辑最近邻法。 剪辑最近邻方法MULTIEDIT算法6.2.3 重复剪辑最近邻方法（1） 将样本集X(N)随机地划分为s个子集：（2） 用最近邻法，以为参照集，对X 中的i样本进行分类，其中i =1,2,…,s;（3）去掉（2）中被错误分类的样本；（4）用所留下的样本构成新的样本集X(NE)；（5）如果经过k 次迭代再没有样本被剪辑掉则停止；否则转至（1）。 6.3 最近邻法的误判概率及其上下界一、1-NN法误判概率及其上下界设 是 的最近邻元，为 ， 条件的误判概率，则对于1-NN规则，如果条件误判概率，则产生错判，因此设由于样本独立抽取，因而有 设 连续且非零，一个样本落在以 为中心的超球S中的概率P 0，则N个独立样本落在Ss外的概率为即 以概率1收敛于 记为 因为，故 条件下的渐近误判概率为 一、1-NN法误判概率及其上下界条件下的渐近误判概率 一、1-NN法误判概率及其上下界最小误判概率准则：若则这时的条件误判概率为 一、1-NN法误判概率及其上下界（1）确定情况下，即这时 一、1-NN法误判概率及其上下界（2）最不确定的情况下，即各类的后验概率为均匀分布： 一、1-NN法误判概率 二、k-NN法误判概率k=1k=3k=5k=99Bayes错判概率 三、剪辑k-NN法误判概率20