CTM与SVM相结合的文本分类方法.pdf

第36 卷 第22 期 计 算 机 工 程 2010 年11 月 Vol.36 No.22 Computer Engineering November 2010 ·人工智能及识别技术· 文章编号：1000—3428(2010)22—0203—03 文献标识码：A 中图分类号：TP18 CTM 与SVM 相结合的文本分类方法 王燕霞，邓 伟 (苏州大学计算机科学与技术学院，江苏 苏州 215006) 摘 要：研究一种相关主题模型(CTM)与支持向量机(SVM)相结合的文本分类方法。该方法用 CTM 对数据集建模以降低数据的维度，用 SVM 对简化后的文本数据进行分类。为使 CTM 模型能够较好地对数据集进行建模，在该方法中用 DBSCAN 聚类方法对数据进行聚类， 根据聚类所得到的聚类中心点数目确定 CTM 模型的主题参数。实验结果表明，该方法可以加快分类速度并提高分类精度。 关键词：文本分类；相关主题模型；聚类；支持向量机 Text Classification Method Combining CTM and SVM WANG Yan-xia, DENG Wei (School of Computer Science and Technology, Soochow University, Suzhou 215006, China) 【Abstract 】A text classification method combining Correlated Topic Model(CTM) and Support Vector Machine(SVM) is proposed. In order to reduce the corpus’s dimension, this method models the corpus, and classifies the simplified text date with SVM. With the aim of making the CTM model the corpus better, DBSCAN clustering method is used and chooses the cluster number as the model topic parameter of CTM. Experimental result shows that the method can accelerate the classification speed and improve the classification accuracy. 【Key words 】text classification; Correlated Topic Model(CTM); clustering; SVM 1 概述 随着信息技术的发展，大量以文本形式存在的信息涌现 S 到互联网上，文本分类作为信息检索与数据挖掘领域的研究 ηd Z W ß d,n dn 热点与核心技术，近年来得到了广泛关注和快速发展[1] 。为 µ 了得到更好的分类效果，文本表示成了文本分类研究中的一 K N 个很重要的部分。长期以来文本表示的