第六章 近邻法.pptVIP

模式识别 第六章近邻法 回顾 最简单的分段线性分类器：把各类划分为若干子类，以子类中心作为类别代表点，考查新样本到各代表点的距离并将它分到最近的代表点所代表的类。 极端情况，将所有样本都作为代表点－－－－ 近邻法 §6.1 最近邻法 §6.1 最近邻法 最小距离分类器：将各类训练样本划分成若干子类，并在每个子类中确定代表点，一般用子类的质心或邻近质心的某一样本为代表点。测试样本的类别则以其与这些代表点距离最近作决策。该法的缺点是所选择的代表点并不一定能很好地代表各类，其后果将使错误率增加。 最近邻法的基本思想：以全部训练样本作为“代表点”，计算测试样本与这些“代表点”，即所有样本的距离，并以最近邻者的类别作为决策。 近邻法是由Cover和Hart于1968年提出的，随后得到理论上深入的分析与研究，是非参数法中最重要的方法之一。 §6.1 最近邻法 将与测试样本最近邻样本的类别作为决策的方法称为最近邻法。 6.1 最近邻法 §6.1 最近邻法 最近邻法的错误率 最近邻法的错误率 最近邻法的错误率 最近邻法的错误率 最近邻法的错误率 最近邻法的错误率 最近邻法的错误率 有以下两种例外情况△P＝0： P(ω1|X)＝1 P(ω1|X)＝P(ω2|X)＝1/2。 最近邻法的错误率 最近邻法的错误率 最近邻法的错误率 最近邻法的错误率高于贝叶斯错误率，可以证明以下关系式成立： 小结 6.2 k－近邻法 6.2 k－近邻法 K近邻法的错误率 对于两类问题， 有以下两种例外情况△P＝0： PN(e|x,x’)＝P(ω1|x) P(ω2|x’) + P(ω2|x) P(ω1|x’) 当N-∞时， P(ωi|x’) 近似等于P(ωi|x) PN- ∞(e|x,x’)＝P(ω1|x) P(ω2|x) + P(ω2|x) P(ω1|x) 对于K近邻法 K近邻法的错误率 对所有的x，有： PN- ∞(e|x) ≤Ck[P*(e|x)] 根据Jensen不等式, P=E[PNk(e|x) ≤ E{Ck[P*(e|x)]} ≤ CkE{ [P*(e|x)]} = Ck( P*) 不等式关系 P* ≤P ≤ Ck( P*) ≤ Ck-1( P*) ≤… ≤ C1( P*) ≤2 P* (1- P* ) k－近邻法的错误率 最近邻法和k-近邻法的错误率上下界都是在一倍到两倍贝叶斯决策方法的错误率范围内。 在k →∞的条件下，k-近邻法的错误率要低于最近邻法。 在k →∞的条件下，k-近邻法的错误率等于贝叶斯误差率。 例题： 设在一个二维空间，A类有三个训练样本，图中用红点表示，B类四个样本，图中用蓝点表示。试问：（1）按近邻法分类，这两类最多有多少个分界面（2）画出实际用到的分界面 解答： 按最近邻法，对任意两个由不同类别的训练样本构成的样本对，如果它们有可能成为测试样本的近邻，则它们构成一组最小距离分类器，它们之间的中垂面就是分界面，因此由三个A类与四个B类训练样本可能构成的分界面最大数量为3×4＝12。实际分界面如下图所示，由9条线段构成。 §6.3 改进的近邻法 §6.3 改进的近邻法-快速搜索近邻法 快速搜索近邻法 （1）样本集的分级分解 首先将整个样本分成l个子集，每个子集又分为它的l个子集，如此进行若干次就能建立起一个样本集的树形结构。分成子集的原则是该子集内的样本尽可能聚成堆，这可用聚类方法实现。 结点参数： 树形结构，每个结点表示一样本子集，描述该子集的参数是： 快速搜索近邻法 快速搜索近邻法 （2）快速搜索算法 要实现快速搜索近邻，需要有方法快速判断某个样本子集是否是该待识样本的可能近邻样本集，从而可将无关的样本子集尽快排除。另一方面在某样本子集内寻找哪个样本是近邻时，需快速排除不可能为近邻的样本。 这两个快速判别算法可用以下两个规则表示。 快速搜索近邻法 快速搜索近邻法 快速搜索近邻法 （3）搜索算法 搜索算法的大体过程是这样的： 当搜索树形样本集结构由高层次向低层次深入时，对同一层次的所有结点，可以利用规则1排除掉一些不可能包含待识别样本的近邻的结点(样本子集)。但是这往往不能做到只留下唯一的待搜索结点，因此必须选择其中某一结点先深入搜索，以类似于深度优先的方法确定搜索路径直至叶结点。然而在该叶结点中找到的近邻并不能保证确实是全样本集中的最近邻者，所找到的该近邻样本需要在那些有可能包含最近邻的样本子集中核对与修正，直至找到真正的最近邻样本为止。