一种改进的KNN Web文本分类方法.pdfVIP

第25卷第 11期 计 算 机 应 用 研 究 Vo1．25No．11 2008年 11月 ApplicationResearchofComputers NOV．2008 种改进的KNNWeb文本分类方法 吴春颖，王士同 (江南大学信息工程学院，江苏 无锡 214122) 摘 要：KNN方法存在两个不足：a)计算量巨大，它要求计算未知文本与所有训练样本问的相似度进而得到k 个最近邻样本Ib)当类别间有较多共性，即训练样本间有较多特征交叉现象时，KNN分类的精度将下降。针对 这两个问题，提出了一种改进的KNN方法，该方法先通过 Rocchio分类快速得到k个最有可能的候选类别；然 后在 k个类别训练文档中抽取部分代表样本采用KNN算法；最后 由一种改进的相似度计算方法决定最终的文 本所属类别。实验表明，改进的KNN方法在Web文本分类中能够获得较好的分类效果。 关键词：Web文本分类；K最近邻 ；快速分类 中图分类号：TP311 文献标志码：A 文章编号：1001—3695(2008)11—3275—03 ImprovedKNN W ebtextclassificationmethod WU Chun—ying．WANG Shi—tong (SchoolofInformationEngineering，fiangnanUniversity，WuxiJiangsu214122，China) Abstract：KNN methodnotonlyhaslargecomputationaldemands．becauseitmustcomputethesimilaritybetweenunlabeled textandalltrainingtexts：butalsomaydecreasetheprecisionofclassificationbecauseofthecommonnessofclasses．T spa— perpresentedanimprovedKNN method。whichsolvedtwoproblemsmentionedabove．ItfirstlygottIlemostknclassesfastby Rocchiomethod，andthenusedKNN arithmeticinsomerepresentativetrainingtextsoftheclasses，atlastassignedclassbyan improvedsimilararithmeticinKNN．TheresultofresearchindicatesthattheimpactofthenewmethodiSbetter． Keywords：webtextclassification；KNN(K．nearestneighbor)；fastclassification 随着网络信息技术的高速发展和高速通信基础设施的建 a)文档 (document)。泛指一般的文本或文本中的片断，一 设，Intemet上的Web页面数量呈指数增长。如何有效地组织和 般指一篇文章。 处理这些海量信息，如何更好地搜索、过滤和管理这些网络资 b)项(term)。文本中的内容特征常用切分后的词来表示， 源，Web文本分类成了关键技术。目前关于这方面的研究已经 称为文本的项 ，即文本可用项集 (termlist)，表示为 D(t，t：， 取了很大的进步，并取得了一系列的分类方法 ，其中比较著名的 … ， t)。其中：t是项。 文本分类方法有Rocchio、支持向量机(SVM)、K最近邻 (KNN)、 c)项的权重 (temr weight)。对于含有 Ⅳ项的文本 ，不同的 神经网络和贝叶斯(Bayes)算法等”J。