模式识别中近邻法原理与错误率分析.pdfVIP

5.1引言

分段线性分类器:它将各类训练样本划

分成若干子类，并在每个子类中确定

代表点。测试样本的类别则以其与这

些代表点距离作决策。

该方法的缺点是所选择的代表点并不

一定能很好地代表各类，其将使

错误率增加。

近邻法:最小距离分类器的一种的情况

，以全部训练样本作为代表点，计算测试样

本与所有样本的距离，并以邻者的类别

作为决策。

最初的近邻法是由Cover和Hart于1968年提

出的，随后得到理论上深入的分析与研究，

是非参数法中最重要的方法之一。

目录

5.1引言

5.2邻法

5.3k-近邻法

5.2邻法

5.2邻法

5.2邻法

邻法：将与测试样本邻样本的类别

作为决策的结果。对一个C类别问题，每类

有N个样本，i＝1，…，C，则第i类ω的判

ii

别函数为：

g(x)minx−xk,k1,...,N

iii

k

i1,...,c

决策规则：ifg(x)ming(x)thenx

jij

i

‖·‖表示某种距离（相似性）度量，常用欧

氏距离作为相似性度量。

邻法的决策面

邻法错误率分析

邻法的错误率高于贝叶斯错误率，可以

证明以下关系式成立：

C

***

PPP(2−P)

C−1

由于一般情况下P*很小，因此又可粗略表示

成：

P*P2P*

可粗略说邻法的渐近平均错误率在贝叶

斯错误率的两倍之内

错误率

目录

5.1引言

5.2邻法

5.3k-近邻法

5.2k-近邻法

5.2k-近邻法

5.2k-近邻法

k-近邻法:邻法的扩展，其基本规则是

，在所有N个样本中找到与测试样本的k个最

近邻者，其中各类别所占个数表示成k,i

i

＝1，…，c。定义判别函数为：g(x)k,

ii

i=1,2,…,c。