4b-非线性分类器.pptVIP

4.3 近邻法 4.3.1 最近邻法 4.3.2 K-近邻法及错误率分析 4.3.3 减少计算量和存储量的方法 问题的提出及解决 前面利用每一类的“代表点”设计分段线性分类器是最简单而直接的设计方法, 这类方法的缺点是所选择的“代表点”不一定能很好的代表各个类,其结果是使所设计分类器的错误率增加. 4.3.1 最近邻法 1 最近邻决策规则 则决策规则可以写为 : 如图:假设有N个样本, 被分为3类. 2 最近邻法的错误率分析 此时我们可以证明以下关系 P* ≤ P ≤ P*( 2- c/(c-1) P*) 其中P* 为贝叶斯错误率, c为类数 下面用图形来说明最邻近法错误率上下界与贝叶斯错误率的关系 4.3.2 k-近邻法 k-近邻法是最近邻法的一个推广. 这个方法就是取未知样本x的k个近邻, 看这k个近邻多数属于哪一类, 就把x归为哪一类. 2. k- 近邻法的错误率分析 用k 近邻法决策 根据最近邻法错误率分析, 当样本数N 趋于∞时, P = lim PN (e) N ∞ 则有 p*= p = p*[2- c/(c-1)] 4.3.3 减少计算量和存储量的方法 近邻法的一个缺点就是计算量大, 未知样本x要逐个与全体样本X中每个样本计算欧氏距离. 为了减少计算的次数, 也就是不必计算x到