改进的KNN快速分类算法.pdfVIP

第 27卷 第4期 青 岛大 学 学报 (自然 科 学 版 ) Vo1．27NO．4 2014年 11月 JoURNALOFQINGDAOUNIVERSITY (NaturalScienceEdition) NOV．20 14 文章编号 ：1006—1037(2014)04—0039一O5 doi：lO．3969／j．issn．1006—1037．2014．11．09 改进的KNN快速分类算法 赵忠帅，张公敬 (青岛大学信息工程学院，青岛266071) 摘要 ：传统 的KNN算法 的时间复杂度与样本规模成正 比，大规模或高维数据会降低其分类 效率 。为此，提出一种改进的KNN快速分类算法 。该算法 以固定半径长度构造超球为原 则，为训练样本集构造多个包围超球 。根据各个超球 内包含的训练样本集的重心位置与测 试样本 的位置关系可以快速搜索测试样本的k个最近邻超球 ，然后 以是个最近邻超球 内的 训练样本集构造新的训练样本集 。在新的训练样本集中求测试样本 的k个最近邻 ，从而获 得该测试样本的类别。实验表明，改进 的KNN快速分类算法的分类准确率得到一定程度 的提高、运行效率明显提升。 关键词：包围超球；KNN；分类算法 中图分类号 ：TP301．6 文献标志码 ：A 分类作为数据挖掘中的一种重要技术 ，是从一组已知的训练样本 中发现分类模型，并使用该模型预测待 分类样本 。分类算法具有代表性 的研究成果有 K近邻 (K—NearestNeighbor，KNN)算法_1]、多层感知器 (MultiLayerPerceptrons，MLP)算法_2]和支持 向量机 (supportvectorMachines，SVM)算法 等 。其 中 KNN算法的思路是 ：如果一个样本在特征空间中的k个最相似 (即特征空间中最邻近)的样本 中的大多数属 于某一个类别 ，则该样本也属于这个类别 。KNN算法 中所选择的邻居都是 已经正确分类 的样本 ，在定类决 策上只依据最邻近的一个或者几个样本的类别来决定待分类样本所属的类别。KNN算法虽然简单、有效 ， 但是通常速度很慢。因为寻找训练集 中k个最近邻需要计算训练集中每个训练样本点到待分类样本点的距 离 ，然后选择距离最近的k个 。因此 ，处理一个待分类样本点要搜寻整个训练集 ，搜寻过程与训练集的大小 成线性关系。对于训练集规模较大或维数较高的情况，寻找 k个最近邻 的计算量庞大，影响分类速度 。 提高 KNN算法的执行效率 ，主要有三种方法 ：一是建立低维的特征 向量空间来 降低计算开销[4；二是 引入快速搜索算法或建立高效索引来加快寻找最近邻的速度[5；三是通过缩减训练样本来减少相似度的计 算量 ]。另外 ，还有基于急切学习法思想 ]的支持 向量机分类算法 ]。但是，上述方法对 KNN算法 的改 进仍然存在欠缺 ，有的算法 的准确率不高 ，有 的算法对效率的提升并不理想 。 为此，本文提出一种最近邻快速搜索算法 (EnhancedandFastKNN，EF—KNN)，该方法将为训练集的 所有样本点构造多个将其包围的超球 ，以固定半径构造超球 的原则 ，每个超球包围一定数量的训练样本，这 些样本的类别可以不同，由此生成了多超球 。通过各个超球与测试样本之间的位置关系快速搜索测试样本 的k个最近邻超球 ，并 由此 k个超球包 围的训练样本作为新的训练集 ，计算测试样本同这个新训练集中的样 本的距离 ，得到测试样本的k个最近邻训练样本 ，由这 k个近邻训练样本投票确定测试样本的类别。 1 EF— KNN算法 1．1 以固定半径构造超球 以训练样本中的某个训练样本点X 构造超球为例，并且样本各维属性都是数值类型。以设定的半径 r 收稿 日期 ：2014—09-21 基金项 目：青岛市科技发展计划(批准号：13—1—4—151一jch)资助；青岛大学研究生教育创新 (批准号：QDY13013)资助。 作者简介 ：赵忠帅，男 ，硕士研究生 ，研 究方向：软件工程 。 通讯作者：张公敬，男，副教授 ，硕士研究生导师，主要研究领域为计算机网络、信息安全，计算智能。 40