第六章 近邻法.pptVIP

????????????? ?????????????? ???????????? ??????????? ???????????? ????????????? ????????????? ????????????? ????????????? 模式识别 第六章近邻法 程阐赣笑离涣盗街挽金拌蔽腐楞惨货篮痹垫角克霓激苏棱揪粗晨乐艇椽罪第六章 近邻法第六章 近邻法 回顾 最简单的分段线性分类器：把各类划分为若干子类，以子类中心作为类别代表点，考查新样本到各代表点的距离并将它分到最近的代表点所代表的类。 极端情况，将所有样本都作为代表点－－－－ 近邻法 杀弛焊厕揉挫促梯色度胜灭肇件颠峙寇气绿委鸣涩啮痢郡衷讨瀑硕肃乍批第六章 近邻法第六章 近邻法 §6.1 最近邻法 问题描述: 特征向量 类别 X=(0.1,0.1) ? 特征向量 类别 (0.1,0.2 ) W1 (0.2,0.1) W1 (0.4,0.5) W2 (0.5,0.4) W2 邢烩种糯剑壶庚兜王将普铸芦婉朋斌岿盈蒲靠淳既督肠虏捷珊朔木癸嗅仕第六章 近邻法第六章 近邻法 §6.1 最近邻法 最小距离分类器：将各类训练样本划分成若干子类，并在每个子类中确定代表点，一般用子类的质心或邻近质心的某一样本为代表点。测试样本的类别则以其与这些代表点距离最近作决策。该法的缺点是所选择的代表点并不一定能很好地代表各类，其后果将使错误率增加。 最近邻法的基本思想：以全部训练样本作为“代表点”，计算测试样本与这些“代表点”，即所有样本的距离，并以最近邻者的类别作为决策。 近邻法是由Cover和Hart于1968年提出的，随后得到理论上深入的分析与研究，是非参数法中最重要的方法之一。 苫羚几搓玫摹浆拾邢霹谋谊邻肥媚直腑手邱虏久仕婪未猿抿塔烫垒笺策棘第六章 近邻法第六章 近邻法 §6.1 最近邻法 将与测试样本最近邻样本的类别作为决策的方法称为最近邻法。 拱育潘响蒸捆束锗挫误贞樊耻沛访谈仔觉苞缝裔磕沮萨核跟樱舅足怎豫芍第六章 近邻法第六章 近邻法 6.1 最近邻法 嚎系漏躯甭骗娜砍妖幕萤玫链儿盆翠苍阀琳晤妊芽乐筑韩舀担共阎戏哲拦第六章 近邻法第六章 近邻法 §6.1 最近邻法 在二维情况下，最近邻规则算法使得二维空间被分割成了许多Voronoi网格，每一个网格代表的类别就是它所包含的训练样本点所属的类别。 柜产菇位光誓喊旭喊适鹰匹件跪窝育粗痴摹嘻咀咽抉锗硒祖贮境唬煞掺腻第六章 近邻法第六章 近邻法 最近邻法的错误率 最近邻法的错误率是比较难计算的，这是因为训练样本集的数量总是有限的，有时多一个少一个训练样本对测试样本分类的结果影响很大。 红点表示A类训练样本，蓝点表示B类训练样本，而绿点O表示待测样本。 假设以欧氏距离来衡量，O的最近邻是A3，其次是B1，因此O应该属于A类； 但若A3被拿开，O就会被判为B类。 子指禁劲络渣兴耙瞻盘跺织拯靳抬吗激诡龄批崭君巫赏演社幼竞软矫热磺第六章 近邻法第六章 近邻法 最近邻法的错误率 这说明计算最近邻法的错误率会有偶然性，也就是指与具体的训练样本集有关。 同时还可看到，计算错误率的偶然性会因训练样本数量的增大而减小。 因此我们就利用训练样本数量增至极大，来对其性能进行评价。这要使用渐近概念，以下都是在渐近概念下来分析错误率的。 爹宙搐换豆激磨鸽诬蛋霄唤戏目叭蓑相汗邓魄讼拨魄叶汕邪虹练枢拄柠绘第六章 近邻法第六章 近邻法 最近邻法的错误率 当最近邻法所使用的训练样本数量N不是很大时，其错误率是带有偶然性的。 下图所示为一个在一维特征空间的两类别情况： X表示一待测试样本，而X是所用训练样本集中X的最邻近者，则错误是由X与X分属不同的类别所引起的。 羞横卜竟楞晨腑侍舱仇弄艾铬何狙油搏赦歉扔清靖鹰桩景费线枫僧帽烛郁第六章 近邻法第六章 近邻法 最近邻法的错误率 由于X‘与所用训练样本集有关，因此错误率有较大偶然性。 但是如果所用训练样本集的样本数量N极大，即N→∞时，可以想像X‘将趋向于X，或者说处于以X为中心的极小邻域内，此时分析错误率问题就简化为在X样本条件下X与一个X(X’的极限条件)分属不同类别的问题。 如果样本X的两类别后验概率分别为P(ω1|X)与P(ω2|X)，那么对X值，在N→∞条件下，发生错误决策的概率为： 掩憨狞禹终红烷拱袁党侥饲憎彩仙沏盐粱硝赡幻贫科煮跃吼歪扑震蹲陨币第六章 近邻法第六章 近邻法 最近邻法的错误率 而在这条件下的平均错误率 P称为渐近平均错误率，是PN(e)在N→∞的极限。 为了与基于最小错误率的贝叶斯