两种相似度计算方法对KNN分类效果的影响研究.docVIP

两种相似度计算方法对KNN分类效果的影响研究莉1李湘东2黄( 1． 武汉大学图书馆 武汉 430072; 2． 武汉大学信息管理学院 武汉 430072)摘 要 KNN 最邻近算法是文本自动分类中最基本且常用的算法， 两种相似度计算方法对 KNN 分类效果的影响研究 莉1 李湘东2 黄 ( 1． 武汉大学图书馆 武汉 430072; 2． 武汉大学信息管理学院 武汉 430072) 摘 要 KNN 最邻近算法是文本自动分类中最基本且常用的算法，该算法中需要计算文本之间的相似度。以 Jens- en － Shannon 散度为例，在推导和说明其基本原理的基础之上，将其用于计算文本之间的相似度; 作为对比，也使用 常规的余弦值方法计算文本之间的相似度，并进而使用 KNN 最邻近算法对文本进行分类，以探讨不同的相似度计 算方法对使用 KNN 最邻近算法进行文本自动分类效果的影响。多种试验材料的实证研究说明，较之于余弦值方 法，基于 Jensen － Shannon 散度计算文本相似度的自动分类会使分类正确率更高，但会花费更长的时间。 关键词 文本自动分类 分类效果 最邻近算法 相似度 余弦值 Jensen － Shannon 散度 中图分类号 文献标识码 文章编号 1002 － 1965( 2012) 07 － 0177 － 05 TP391． 1 A Two Similarity Measures and Their Effect on the KNN Algorithm HUANG Li1 LI Xiangdong 2 ( 1． Library ，Wuhan University ，Wuhan 430072; 2． School of Information M anagement，Wuhan University ，Wuhan 430072) Abstract This research uses Jensen － Shannon Divergence instead of cosine value as similarity measure in the KNN classifier for text cate- gorization． The performances under the tw o similarity measures are compared in terms of classification accuracy w ith several kinds of cor- pus． The experiment show s that the KNN algorithm based on Jensen － Shannon Divergence outperforms that based on cosine value． Key words text categorization performance KNN similarity cosine Jensen － Shannon Divergence 散度有助于提高 KNN 最邻近算法的分类精度。 0 引 言 1 KNN 最邻近算法的研究现状 文本自动分类是机器学习的应用，它是通过将待 分类文本与已分类的训练文本集进行比较，进而确定 待分类文本的所属类别的方法。KNN 最邻近算法因 为在原理上较为简单明白，在系统上较容易实现而成 为广泛运用和研究的一种自动文本分类算法。KNN 最邻近算法的主要特点之一是需要计算待分类文本与 训练文本集中每一个文本的相似度。因此，相似度的 计算是 KNN 最邻近算法的关键点之一、对分类效果 有着直接影响，如何选择相似度计算方法在 KNN 最 邻近算法中至为重要。 本文将 Jensen － Shannon 散度应用于 KNN 最邻近 算法之中的相似度计算，并将其与常用的余弦值方法进 行分类效果对比。通过实验证实使用 Jensen － Shannon KNN 最邻近算法和支持向量机 SVM 法一样，相 较于其他的决策树、贝叶斯等分类方法有更好的分类 精度，尤其是对样本数较少的数据集［1］。KNN 最邻近 算法的研究内容主要集中在如何提高分类精度，具体 研究主要从以下三个角度开展: 针对特定的学科领域 或类型 的 文 本 分 类 对 象，确 定 分 类 精 度 最 佳 的 K 值［2 － 4］; 改变特征选取的方法，使选取的特征更有利于 提高分类精度［5］; 与其他分类算法混合使用［6 － 7］ 等。 上述研究以及其他各项 KNN 最邻近算法的有关研 究［1，8 － 9］均使用余弦值方法计算文本之间的相似度。 在向量空间模型下，当文