基于聚类的KNN算法改进.docVIP

PAGE PAGE 1 基于聚类的KNN算法改进 　　摘要：通过研究KNN算法，提出了一种利用训练集文本聚类结果改进KNN算法的方法，首先将训练集文本采用DBSCAN算法聚进行聚类，将训练集文本分为若干个簇，然后采用KNN算法对测试文档进行测试，最后用距离最近的n个簇中的若干训练集文本使用KNN算法对测试文本进行分类。实验表明，改进后的算法降低了计算量，提高了效率，同时对聚类结果有了一定的改进。 　　关键词：KNN算法；DBSCAN算法；训练集 　　中图分类号：TP391文献标识码：A 　　An improved KNN Algorithm Based on Clustering 　　FANDong-hui12,WANGZhi-he1,CHENJian-hua1,XUHu-yin1 　　（ 1、College of Mathematics and Information Science, Northwest Normal University, Lanzhou 730070, china 　　2、Zhumadian Vocational and Technical College henan 463000 ） 　　Abstract: By studying the KNN algorithm, I proposed the method a training set of text clustering results using KNN algorithm to improve, first the training set using text DBSCAN algorithm to cluster together, the text is divided into a number of training set clusters, then using KNN algorithm test document for testing, and finally with the nearest cluster of n number of training set in the text text using KNN algorithm to classify the test. Experiments show that the improved algorithm reduces the amount of computation, improve efficiency, while a certain improvement of clustering results. 　　Keywords: feature selection; document frequency;word frequency 　　1、引言 　　文本自动分类是指对未知类别的文档进行自动处理，判断它所属类别。随着各种形式的文本文档以指数级的速度增长，有效的信息检索、内容管理等应用变得愈加重要和困难。文本自动分类作为一个有效的解决办法，已成为一项具有实用价值的关键技术。现如今已有诸多分类技术和方法被提出来，例如KNN算法(K-Nearest Neighbour)1、贝叶斯网络（Bayes Network）2、支持向量机（SVM）3等。 　　其中KNN算法简单、有效，计算时间和空间线性于训练集的规模被广泛采用。但由KNN算法具体步骤可以知道：KNN是非积极学习方法，基本上不学习；再者每个训练集样本需要与训练集中样本进行计算，计算量非常大；还有因为要与单个训练集样本进行计算，易受单个样本的影响4。针对其局限性，我们提出改进的KNN算法就是在训练集样本中先进行聚类，然后利用KNN算法计算测试集样本与训练集样本簇之间的距离，选用较近的n个簇，用这n个簇中的训练集样本和测试集样本再采用KNN算法来确定测试集样本的分类。 　　2.1、传统的kNN算法 　　对于测试集中每一个测试文本,都需要计算它与训练集中每个文本的距离,然后把距离排序找到离该测试文本最近的k个文本,根据测试文本与训练文本的距离来给该测试文档的候选类别按公式（1）评分。如果有属于同一个类别的,就将该类别中的文本的打分求和作为该类别的得分。最后,将得分排序，测试文本将被分配给得分最高的那个类别。 　　 （1） 　　x是一个测试集文本，c是训练集的类别，d是距离x最近的k个文本之一； 　　sim(x,d) 是文本x与文本d的相似度，这里指的是距离； 　　I(d,c) 是表示d是否属于类c，如果属于类c则为1，否则为0。 　　2.2、改进的IKNN算法 　　首先对训练集文本进行聚类，采用DBSCAN算法 　　算法过程如下： 　　第一步：如果文本对象P