一种基于特征投票的文本分类方法.pdfVIP

第36 卷 第9 期 计 算 机 工 程 2010 年5 月 V Computer Engineering May 2010 ol.36 No.9 ·人工智能及识别技术· 文章编号：1000—3428(2010)09—0200—03 文献标识码：A 中图分类号：TP311 一种基于特征投票的文本分类方法 焦庆争 1,2 ，蔚承建 1 (1. 南京工业大学信息科学与工程学院，南京 210009 ；2. 安徽师范大学信息管理中心，芜湖 241000) 摘 要：基于特征投票机制设计一种线性文本分类方法，运用信任机制理论分析文档类别对特征的信任关系，给出具体特征信任度的模型， 并在 Newsgroup 、复旦中文分类语料、Reuters-21578 3 个广泛使用且具有不同特性的语料集上与传统方法进行比较。实验结果表明，该方 法分类性能优于传统方法且稳定、高效，适用于大规模文本分类任务。 关键词：文本分类；特征投票；经验概率；自然语言处理 Text Categorization Method Based on Features Vote JIAO Qing-zheng1,2, WEI Cheng-jian1 (1. College of Information Science and Engineering, Nanjing University of Technology, Nanjing 210009; 2. Information Management Center, Anhui Normal University, Wuhu 241000) 【Abstract 】This paper discusses a text categorization approach based on features vote, which is linear as well as high efficient. It uses the trust mechanism theory to analyze the trust relation between features and document classes, and gives the model to calculate the trust values. In the comparison experiments, Newsgroup, Fudan Chinese evaluation data collection and Reuters-21578 are used to evaluate the effectiveness of the techniques. Experimental results show the method can improve the performance for text categorization, and is suitable for large-scale text categorization. 【Key words 】text categorization; features vote; empirical probability; natural language processing 1 概述 越信任，在判别测试文档为 i 类时，特征对 i 类的贡献也越大； [1] 自动文本分类是一