第六章 近邻法.pptVIP

????????????? ?????????????? ???????????? ??????????? ???????????? ????????????? ????????????? ????????????? ????????????? 模式识别 第六章近邻法 第六章 近邻法 6.1.1. 问题描述 特征向量 类别 X=(0.1,0.1) ? §6.1 近邻法原理及其决策规则 特征向量 类别 (0.1,0.2 ) W1 (0.2,0.1) W1 (0.4,0.5) W2 (0.5,0.4) W2 第六章 近邻法 最小距离分类器: 它将各类训练样本划分成若干子类，并在每个子类中确定代表点。未知样本的类别则以其与这些代表点距离最近作决策。该方法的缺点是所选择的代表点并不一定能很好地代表各类，其后果将使错误率增加。 m1 m2 x g(x)=0 m1 m2 x 最近邻分类器(nearest neighborhood classifier, nnc): 最小距离分类器的一种极端的情况，以全部训练样本作为代表点，计算测试样本与所有样本的距离，并以最近邻者的类别作为决策。 最初的近邻法是由Cover和Hart于1968年提出的，随后得到理论上深入的分析与研究，是非参数法中最重要的方法之一。 6.1.2.最近邻法的决策规则 将与测试样本最近邻样本的类别作为决策的方法称为最近邻法。 对一个C类别问题，每类有Ni个样本，i＝1，…，C，则第i类ωi的判别函数 其中Xik表示是ωi类的第k个样本。 以上式为判别函数的决策规则为： 最近邻法在原理上最直观，方法上也十分简单，只要对所有样本(共N＝∑Ni)进行N次距离运算，然后以最小距离者的类别作决策。 如果 则决策 §6.1 近邻法原理及其决策规则 在二维情况下，最近邻规则算法使得二维空间被分割成了许多Voronoi网格，每一个网格代表的类别就是它所包含的训练样本点所属的类别。 §6.1 近邻法原理及其决策规则 最近邻法错误率 最近邻法的错误率高于贝叶斯错误率，可以证明以下关系式成立： 由于一般情况下P*很小，因此又可粗略表示成： 可粗略说最近邻法的渐近平均错误率在贝叶斯错误率的两倍之内。 §6.1.2 近邻法决策规则 k-近邻法: 最近邻法的扩展，其基本规则是，在所有N个样本中找到与测试样本的k个最近邻者，其中各类别所占个数表示成ki, i＝1，…，c。 定义判别函数为： gi(x)=ki, i=1, 2,…,c。 决策规则为： k-近邻一般采用k为奇数，跟投票表决一样，避免因两种票数相等而难以决策。 6.1.3. k-近邻法决策规则 §6.1 近邻法原理及其决策规则 从样本点x开始生长，不断扩大区域，直到包含进k个训练样本点为止，并且把测试样本点x的类别归为这最近的k个训练样本点中出现频率最大的类别。 §6.1.3 K近邻法 k-近邻法错误率 最近邻法和k-近邻法的错误率上下界都是在一倍到两倍贝叶斯决策方法的错误率范围内。 在k →∞的条件下，k-近邻法的错误率要低于最近邻法。 在k →∞的条件下，k-近邻法的错误率等于贝叶斯误差率。 §6.1.3 K近邻法 最近邻与k-近邻法分类效果 3-近邻 最近邻 6.1.4. 近邻法中的几个问题 问题1：如何度量两个向量的相似性？ 各种距离度量 §6.1 近邻法原理及其决策规则 ② 绝对值距离（城市距离、棋盘距离） ① s阶明考夫斯基距离 ③ 欧几里德距离 已知两个样本 ④ 切比雪夫距离 s趋向无穷大时明氏距离的极限情况 ⑤ 马哈拉诺比斯距离 问题2 几种距离度量之间的关系 每一个彩色的平面由距离原点为1的点所形成。 §6.1 近邻法原理及其决策规则 问题3 计算复杂性 N个样本，每一个样本是d维，在对于一个未知样本判别时，需要的计算量为？ 当样本量N非常大时，如何实时（在线）完成识别任务？ 对于分类来说，每一个样本都有价值吗？ §6.1 近邻法原理及其决策规则 6.1.5 近邻法的应用举例 §6.1 近邻法原理及其决策规则 例1：人脸识别 第一步：把人脸图像映射到一个低维的字空间中，成为空间中的一个向量； 第二步：使用近邻法对于未知的人脸图像分类。 例2： B3 B4 B1 B2 A3 A1 A2 B3 B4 B1 B2 A3 A1 A2 §6.1.5 近邻法应用举例 小结 模式识别（机器自动分类）的基本方法有两大类： 将特征空间划分成决策域，需要确定判别函数或确定分界面方程。 模板匹配，即将待分类样本与标准模板进行比较，看跟哪个模板匹配度更好些，从而确定待测试样本的分类。 前面讨论的方法可以说都是将特征空间划分为决策域