第六章 近邻法.pptVIP

第1页，共21页，星期日，2025年，2月5日第六章近邻法第2页，共21页，星期日，2025年，2月5日6.1.1.问题描述特征向量类别X=(0.1,0.1)?§6.1近邻法原理及其决策规则特征向量类别(0.1,0.2)W1(0.2,0.1)W1(0.4,0.5)W2(0.5,0.4)W2第六章近邻法第3页，共21页，星期日，2025年，2月5日最小距离分类器:它将各类训练样本划分成若干子类，并在每个子类中确定代表点。未知样本的类别则以其与这些代表点距离最近作决策。该方法的缺点是所选择的代表点并不一定能很好地代表各类，其后果将使错误率增加。m1m2xg(x)=0m1m2x最近邻分类器(nearestneighborhoodclassifier,nnc):最小距离分类器的一种极端的情况，以全部训练样本作为代表点，计算测试样本与所有样本的距离，并以最近邻者的类别作为决策。最初的近邻法是由Cover和Hart于1968年提出的，随后得到理论上深入的分析与研究，是非参数法中最重要的方法之一。第4页，共21页，星期日，2025年，2月5日6.1.2.最近邻法的决策规则将与测试样本最近邻样本的类别作为决策的方法称为最近邻法。对一个C类别问题，每类有Ni个样本，i＝1，…，C，则第i类ωi的判别函数其中Xik表示是ωi类的第k个样本。以上式为判别函数的决策规则为：最近邻法在原理上最直观，方法上也十分简单，只要对所有样本(共N＝∑Ni)进行N次距离运算，然后以最小距离者的类别作决策。如果则决策§6.1近邻法原理及其决策规则第5页，共21页，星期日，2025年，2月5日在二维情况下，最近邻规则算法使得二维空间被分割成了许多Voronoi网格，每一个网格代表的类别就是它所包含的训练样本点所属的类别。§6.1近邻法原理及其决策规则第6页，共21页，星期日，2025年，2月5日最近邻法错误率最近邻法的错误率高于贝叶斯错误率，可以证明以下关系式成立：由于一般情况下P*很小，因此又可粗略表示成：可粗略说最近邻法的渐近平均错误率在贝叶斯错误率的两倍之内。§6.1.2近邻法决策规则第7页，共21页，星期日，2025年，2月5日k-近邻法:最近邻法的扩展，其基本规则是，在所有N个样本中找到与测试样本的k个最近邻者，其中各类别所占个数表示成ki,i＝1，…，c。定义判别函数为：gi(x)=ki,i=1,2,…,c。决策规则为：k-近邻一般采用k为奇数，跟投票表决一样，避免因两种票数相等而难以决策。6.1.3.k-近邻法决策规则§6.1近邻法原理及其决策规则第8页，共21页，星期日，2025年，2月5日从样本点x开始生长，不断扩大区域，直到包含进k个训练样本点为止，并且把测试样本点x的类别归为这最近的k个训练样本点中出现频率最大的类别。§6.1.3K近邻法第9页，共21页，星期日，2025年，2月5日k-近邻法错误率最近邻法和k-近邻法的错误率上下界都是在一倍到两倍贝叶斯决策方法的错误率范围内。在k→∞的条件下，k-近邻法的错误率要低于最近邻法。在k→∞的条件下，k-近邻法的错误率等于贝叶斯误差率。§6.1.3K近邻法第10页，共21页，星期日，2025年，2月5日最近邻与k-近邻法分类效果3-近邻最近邻第11页，共21页，星期日，2025年，2月5日6.1.4.近邻法中的几个问题问题1：如何度量两个向量的相似性？各种距离度量§6.1近邻法原理及其决策规则②绝对值距离（城市距离、棋盘距离）①s阶明考夫斯基距离③欧几里德距离已知两个样本④切比雪夫距离s趋向无穷大时明氏距离的极限情况⑤马哈拉诺比斯距离第12页，共21页，星期日，2025年，2月5日问题2几种距离度量之间的关系每一个彩色的平面由距离原点为1的点所形成。§6.1近邻法原理及其决策规则第13页，共21页，星期日，2025年，2月5日问题3计算复杂性N个样本，每一个样本是d维，在对于一个未知样本判别时，需要的计算量为？当样本量N非常大时，如何实时（在线）完成识别任务？对于分类来说，每一个样本都有价值吗？§6.1近邻法原理及其决策规则第14页，共21页，星期日，2025年，2月5日6.1.5近邻法的应用举例§6.1近邻法原理及其决策规则例1：人脸识别第一步：把人脸图像映射到一个低维的字空间中，成为空间中的一个向量；第二步：使用近邻法对于未知的人脸图像分类。例2：B3