一种改进K值最近邻自动分类方法.docVIP

一种改进K值最近邻自动分类方法 　　摘 要：K值最近邻法是常用的一种自动分类算法。当待分类文本与样本集中多个决策样本的距离相等的时候，固定的K值取法不能充分利用样本集，给分类结果带来一定的随机性，影响了自动分类的准确性。本文通过对K值最近邻算法的原理进行深入分析，提出了一种K值动态选取的方案，使得K值最近邻算法的分类准确性有了显著的提高。 关键词：K值最近邻算法；自动分类；决策样本选取；KNN 中图分类号：TP302.1 随着互联网的发展，互联网网页信息数量急剧增加，根据中国互联网络信息中心（CNNIC）第31次报告，截至2012年12月底，中国网页数量为1227亿个，其中文本信息网页占绝大多数。网页数量的急剧增加使得对互联网信息的分类需求越发迫切。文本自动分类是数据挖掘领域中一种重要的技术，它从一组已知的训练样样本中发现分类模型，并且使用这个分类模型来预测待分类样本的类别[1]。 K值最近邻算法（KNN算法）[2]是比较常见的一种用来做文本自动分类的算法，最初的近邻法由Cover和Hart于1968年提出[3]。该方法的思路是：如果一个文献在特征空间中的K个最近邻文献中的大多数属于一个类别，则该文献也属于这个类别。KNN算法使用后验概率的估值作为后验概率，是一个次优方法。KNN算法只与邻近的样本有关，通过邻近样本所属的类别来决策，这就使它对于具体的分类体系没有较大的依赖，比较适合于文本自动分类。 一般认为，KNN算法的主要缺点有：一是计算量较大，因为对每一个待分类的文献，都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。常用的解决方法一是事先对已经样本点进行剪辑，去除对分类作用不大的样本，另一种方法是用空间换时间，事先将所有样本点的两两距离计算出来并存入相应的位置以备检索。二是处理过程中，所有的临近K值对结果点的影响效果是一样的，不管这个点离它有多远。而在实际应用中，可以采取附加权值的方法，放大临近点对结果的影响。 业界对KNN算法的研究多专注于减少计算量的角度。参考文献[3]提出用概念树来管理类别特征从而减少运算量的思路，参考文献[4][5]提出通过对分类体系各类别均建立代表点来减少运算量的思路，参考文献[6][7]是通过多步骤分级计算来减少计算量提高系统有效性，参考文献[8]则提出利用每次k-NN查询中保存的近邻点到被查询点的距离汁算出近邻点孤立程度上界的提前修剪算法。这些思路和方法，都取得了一定的效果，提高了自动分类系统的有效性。各类文献中关于充分利用样本库的资源来进一步提高分类准确率的方面，讨论的不多。 1 等距离样本不公问题及解决 KNN算法严重依赖样本库。一方面来说，如果样本库分布不均匀，某些类型偏多某些类型偏少，则会对分类结果的正确性产生较大的影响，另一方便来说，如果不能充分利用样本库的资源，也可能使得分类结果产生一定的偏差。 KNN算法最重要的步骤就是要计算待分类文本与样本库中各文本的距离，并排序，然后取出前K个文本。文本的距离有多种计算方法，其中一个常用的有效方法是：提取文本的属性向量，然后计算代表文本的属性向量之间的距离，即用向量的距离代表文本的距离。在实际的开发测试过程中我们发现，在样本数量比较大的时候，两个向量之间的距离相同是比较常见的现象，这就导致了等距离文本也是比较常见的。 设T为待分类的文本，Si（i=1，2，3，…N，N为样本总数）为知识库中的样本，定义Dti为待分文本T到样本Si的距离，根据KNN算法，我们应该取Dti（i=1，2，3，…N）中最小的K（K≤N）个值，并按照这K个值对应的K个样本来进行分类决策。 设di为Dti（i=1，2，3，…N）按照从小到大进行排序以后所得的序列，其对应的样本为Si，即T到Si的距离为di，并有d1≤d2≤d3≤…≤dN。按照KNN算法，取di（i=1，2，3，…N）的前K个值即为距离待分文本T最近的K个样本Si（i=1，2，3，…K）到待分文本T的距离，只需要根据Si（i=1，2，3，…K）这K个样本进行分类决策即可。 然而，我们发现，如果dK=dK+1，那么我们采用Sk而不采用Sk+1进行分类决策就对样本Sk+1不公平，我们没有任何理由选取Sk却不选Sk+1作为分类决策样本，因为这两个样本到待分文本T的距离是完全相等的。但是由于我们只能选取K个样本，Sk与Sk+1必舍其一，这样得到的最后的分类结果可能不是最优。事实上，在我们实验中发现，dK-10，那么针对待分类文本T的决策样本就取S1到SK-m这K-m个样本作为决策样本，或者取S1到SK+n共计K+n个样本作为决策样本，这样取到的决策样本对于待分类文本T来说，用于分类决策的样本都是公平的。我们称此方案为基本修正方案。