基于SVM的中文文本自动分类的研究.pdfVIP

计 算 机 与 现 代 化 　2006 年第 8 期 J ISUANJ I 　YU 　XIANDAIHUA 总第 132 期 ( ) 文章编号 2006 基于 SVM 的中文文本自动分类研究 马金娜 , 田大钢 (上海理工大学管理学院 ,上海 　200093) 摘要 :详细介绍了进行文本分类的过程 ,并着重介绍了一种新的基于结构风险最小化理论的分类算法 ———支持向量机 , 通过实验比较支持向量机算法和传统的 KNN 算法应用于文本分类的效果 ,证实了支持向量机在处理文本分类问题上的 优越性 。 关键词 :文本分类 ;支持向量机 ;特征提取 中图分类号 :TP391 　　　　文献标识码 :A Research on Chinesetext Automatic Classif ication Based on SVM MA Jinna ,TIAN Dagang (College of Management , University of Shanghai for Science and Technology , Shanghai 200093 ,China) Abstract : This paper describes the course of text classification and a new efficient classification algorithm ———Support Vector Machine . In the end , SVM and the traditional textclassification algorithm ——— KNN are applied to Chinesetext automatic classification , it is proved that the SVM is superior . Key words :text classification ; SVM ; feature selection 文本分类既是一种文本挖掘任务 ,也是对文本进行深 0 　引　言 层次挖掘的预处理步骤 。本文将深入地探讨中文文 所谓“数据丰富但知识缺乏”的现状导致了数据 本分类的关键技术 ,并研究当前应用于文本分类效果 ( ) 挖掘 Data Mining 技术研究的兴起 ,数据挖掘是从海 较好的支持向量机算法 ,将其与传统的 KNN 算法相 量的结构化信息中抽取或挖掘隐含信息和知识的重 比较 ,证实支持向量机在文本分类上的优越性 ,并针 要方法和途径[ 1] 。当前 ,数据挖掘技术已经相当成熟 对其缺点 ,提出在进行文本预处理时给予改善 。 了。但是 ,Forrest Research 的统计资料指出 ,80 % 以 上的数据以非结构化的形式存在[2 ] ,如文档 、手册 、E 1 　文本预处理 mail 、技术报告 、专家陈述等 ,所以出现了对从文本中 由于文档都是非结构化的 ,而且文档的内容是人 ( ) 类所使用的自然语言 ,计算机很难处理其语义 , 因此 发现知识 Knowled