最、K近邻法教程.docx

PAGE15 /10 最/K 近邻法——分类 王嘉陆摘要 最初的近邻法是由Cover和Hart于1968年提出的，由于对该方法在理论上进行了深入分析，直至现在仍是模式识别非参数法中最重要的方法之一。 数据：图像分割数据，虹膜植物数据 编程语言：Python 关键词：最\K-近邻法（KNN）、决策规则、欧氏距离、错误率、图像分割、虹膜植物识别 最\K-近邻法简介 近邻法是一种根据样本提供的信息，绕开概率的估计而直接决策的技术，所以它也属于非参数判别方法的一种。 模式识别的基本方法有两大类，一类是将特征空间划分成决策域，这就要确定判别函数和分界面方程。而另一种方法则称为模板匹配，即将待分类样本与标准模板进行比较，看跟哪个模板匹配度更好些，从而确定待测试样本的分类。 近邻法则在原理上属于模板匹配。它将训练样本集中的每个样本都作为模板，用测试样本与每个模板做比较，看与哪个模板最相似(即为近邻),就按最近似的模板的类别作为自己的类别。 最近邻决策规则 假定有个类别的模式识别问题，每类有标明类别的样本， 我们可以规定类的判别函数为： 其中的角标表示类，表示类个样本中的第个，决策规则可以写为 若 则决策 这一决策方法成为最近邻法。其直观解释时相当简单的，就是说对未知样本,我们只要比较与个已知类别的样本之间的欧氏距离，并决策与离它最近的样本同类。 K-近邻法 最近邻法的一个显然的推广是K-近邻法。从字义上看，这个方法就是取位未知样本的个近邻，看这个近邻中多数属于哪一类，就把归为哪一类。具体说就是在个已知样本中，找出的个近邻。设这个样本中，来自类的样本有个，若分别是个近邻中属于类的样本数，则我们可以定义判别函数为 决策规则为：若 则决策 KNN算法 使用KNN算法讲每组数据划分到某个类中，对未知类别属性的数据集中的每个点依次执行以下操作： 计算已知类别数据集中的点与当前点之间的距离； 按照距离递增次序排序； 选取与当前点距离最小的k个点； 确定前k个点所在类别的出现频率； 返回前k个点出现频率最高的类别作为当前点的预测分类。 Python函数classify()实现上述过程，程序清单如下： def classify(inx,dataset,labels,k): #对一组属性数据“inx”分类，返回类别“sortedClassCount[0][0]” datasetSize = dataset.shape[0] diffMat = tile(inx,(datasetSize,1)) - dataset sqDiffMat = diffMat**2 欧式距离计算 sqDistance = sqDiffMat.sum(axis=1) distance = sqDistance**0.5 sortedDistIndicies = distance.argsort() classCount = {} for i in range(k): voteILabel = labels[sortedDistIndicies[i]] 选择距离最 classCount[voteILabel[0]] = classCount.get(voteILabel[0],0)+1 小的k个点 sortedClassCount = sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True) 逆序排序 return sortedClassCount[0][0] classify()函数有4个输入参数，1个返回参数： inx：用于分类的输入属性向量； dataset：输入的训练样本集； labels：训练样本集的标签向量； k：表示用于选择最近邻居的数目。 sortedClassCount[0][0]：k个近邻中发生频次最高的元素标签。 在执行classify()函数之前，要先将训练样本和测试样本的’.txt‘文件转换成classify()函数可以接受的格式。 创建filematrix()函数，来处理样本集文件，参数如下： filename:输入文件名字符串； returnMat：返回的样本矩阵； classLabelVector:返回的样本类标签向量。 程序清单如下： def filematrix(filename): #打开数据集的’.txt’文件，提取并返回属性矩阵”returnMat”和类别向量”classLabelVector” fr = open(filename) arrayOLines = fr.readlines() numberOfLines = len(a