近邻分类器-四川大学.pdf

2012-2013春学期 第六讲 模式识别引论 近邻分类器 赵启军 四川大学计算机学院 分类器 • 贝叶斯决策 （第2、3讲） – 随机模式分类；最小错误率、最小风险 • 判别函数法 （第4 、5讲） – 确定模式分类；线性、非线性 • 近邻分类器 （第6讲） – 无参数分类器 • 11 12 支持向量机 （第 、 讲） – 统计学习理论 2 基于均值的分段线性判别函数 • 根据测试样本到各类均值的距离远近来分类 如果基于测试样本到各类所有样本的距离远近 来分类呢？ 3 近邻分类器 • 基于距离的分段线性判别函数的极端情况 – “ ” 将各类中的全部样本都作为 代表点 • 典型的近邻分类器 – 最近邻分类器 – K近邻分类器 – 针对计算速度和存储量的改进的近邻分类器 4 最近邻分类器 • 问题定义 – c类，第i类有N 个样本 i – 对测试样本x进行分类 • 决策规则 x i k 到第 类样本 g (x) = min || x− x ||,k1=,2, L,N i i i 的最小距离 k 如果g (x) = min {g (x) | i1=,2, L,c} 则x∈ω j i j i 欧氏距离是最常用的距离度量，其它的如余弦距离、 马氏距离、测地距离等 5 最近邻分类器的错误率 • 当训练样本数趋向于无穷大时，最近邻分 类器的错误率为 * * c * P ≤ P≤ P(2 − P ) 1− c 其中，P* 为贝叶斯错误率，c为类别数 • 上述错误率是渐进意义下的错误率。实际 操作中，样本数总是有限的，最近邻分类 器的错误率并不容易计算