非参数判别分类方法.pptVIP

重点 最近邻法决策规划 k—近邻法决策规划 最近邻法错误率分析 *中国矿业大学 计算机科学与技术学院 第三章 非参数判别分类方法 3.6 近邻法 自动分类的基本方法有两大类 近邻法则在原理上属于模板匹配 （1）将特征空间划分成决策域 （2）模板匹配 近邻法的缺点：计算量大，存储量大 近邻法的优点：在模板数量很大时其错误率指标还是相当不错的。 近邻法的改进方法 弄清楚近邻法的定义(包括k近邻法)，与基本做法 弄清“近邻法性能好”是在什么意义上讲的。知道渐进平均错误率的定义 快速搜索方法是使用怎样的原理？ 剪辑近邻法的原理是什么? 而压缩近邻法与剪辑近邻法有什么不同之处？ 3.6.1 近邻法原理及其决策规则 近邻法是由Cover和Hart于1968年提出的，随后得到理论上深入的分析与研究，是非参数法中最重要的方法之一。这一节将讨论其基本原理，错误率分析及若干改进方法。 将与测试样本最近邻样本的类别作为决策的方法称为最近邻法。对一个C类别问题，每类有Ni个样本，i＝1,…,C, 则第i类ωi的判别函数 其中Xik表示是ωi类的第k个样本。 如果 则决策X∈ωj 决策规则为： 基本规则是，在所有N个样本中找到与测试样本的k个最近邻者，其中各类别所占个数表示成ki,i＝1,…,c，则决策规划是： 如果 则决策X∈ωj k近邻一般采用k为奇数，跟投票表决一样，避免因两