模式识别 第5章 近邻法学习资料.ppt

(C)VipinKumar,CSci5980DataMining,Spring2004(C)VipinKumar,ParallelIssuesinDataMining,VECPAR2002模式识别:近邻法目录5.1引言5.2最近邻法5.3k-近邻法5.1引言分段线性分类器:它将各类训练样本划分成若干子类，并在每个子类中确定代表点。测试样本的类别则以其与这些代表点距离最近作决策。该方法的缺点是所选择的代表点并不一定能很好地代表各类，其后果将使错误率增加。近邻法:最小距离分类器的一种极端的情况，以全部训练样本作为代表点，计算测试样本与所有样本的距离，并以最近邻者的类别作为决策。最初的近邻法是由Cover和Hart于1968年提出的，随后得到理论上深入的分析与研究，是非参数法中最重要的方法之一。目录5.1引言5.2最近邻法5.3k-近邻法5.2最近邻法5.2最近邻法5.2最近邻法最近邻法：将与测试样本最近邻样本的类别作为决策的结果。对一个C类别问题，每类有Ni个样本，i＝1，…，C，则第i类ωi的判别函数为：最近邻法的决策面最近邻法错误率分析最近邻法的错误率高于贝叶斯错误率，可以证明以下关系式成立：错误率目录5.1引言5.2最近邻法5.3k-近邻法5.2k-近邻法5.2k-近邻法5.2k-近邻法k-近邻法:最近邻法的扩展，其基本规则是，在所有N个样本中找到与测试样本的k个最近邻者，其中各类别所占个数表示成ki,i＝1，…，c。定义判别函数为：gi(x)=ki,i=1,2,…,c。k-近邻法错误率分析在N→∞的条件下，k-近邻法的错误率要低于最近邻法。最近邻法和k-近邻法的错误率上下界都是在一倍到两倍贝叶斯决策方法的错误率范围内。近邻法性能优点：（1）设计简单（2）分类性能优良（3）适用于线性不可分情况缺点：（1）计算量大，存储量大。?李春权 模式识别哈尔滨医科大学生物信息科学与技术学院2011*第5章近邻法决策规则：‖·‖表示某种距离（相似性）度量，常用欧氏距离作为相似性度量。由于一般情况下P*很小，因此又可粗略表示成：可粗略说最近邻法的渐近平均错误率在贝叶斯错误率的两倍之内决策规则为：k-近邻一般采用k为奇数，跟投票表决一样，避免因两种票数相等而难以决策。?李春权 模式识别哈尔滨医科大学生物信息科学与技术学院2011*