模式识别近的邻法.pptVIP

K-近邻法的错误率界 例 投票法最近邻分类的错误率 K-近邻法的错误率界 粗略地说，有些样本落在了其它类的决策区，错了。而这个错的样本又可能把正确地落在区域内的样本弄错，所以最近邻法的错误率在贝叶斯错误率和2倍贝叶斯错误率之间。 最近邻法的决策边界：训练样本的部分Voronoi Diagram 近邻法虽然没有直接计算决策边界，然而所得到的决策边界是训练样本Voronoi Diagram的一个子集。 每一条线是不同类样本 间连线的平分线。 样本越多，决策边界 越复杂。 减少近邻法的计算和存储问题 减少训练样本的数量，尽量利用“好”的训练样本。 设计好的数据结构和查找算法快速查找x的k近邻。 存储所有的训练样本需要大量的存储，要从训练样本中挑选一些好的样本 常用的方法有两种： 逐步从训练集中删掉一些“坏的”样本。 逐步从训练集中挑选出一些“好的”代表样本。 4.3 剪辑近邻法 由前面的图可以看出，在投票法的k－近邻法中，第 类的样本落在 类的区域后，它可能成为某些 类样本的近邻，因而引起额外的错误，这是为什么近邻法的错误率大于贝叶斯错误率的原因。 这些额外的错误可以通过去掉 类落在 类区域中的样本而减少（上图中的1、3、5、6）。 在实际问题中，由于不知道准确的贝叶斯决策边界，所以不能准确确定 类落在 类区域中的样本。而代之以去掉