中文信息学报基于向量空间模型的文本分类系统的研究与实现.pdfVIP

中　文 　信 　息 　学 　报 第 19 卷 第 1 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 19 No1 ( ) 文章编号 :1003 - 0077 2005 01 - 0036 - 06 基于向量空间模型的文本分类系统的研究与实现① 陈治纲 ,何丕廉 ,孙越恒 ,郑小慎 (天津大学 电子信息工程学院 ,天津 　300072) 摘要 :文本分类是信息处理的一个重要的研究课题 ,它可以有效的解决信息杂乱的现象并有助于定位所 需的信息 。本文综合考虑了频度 、分散度和集中度等几项测试指标 ,提出了一种新的特征抽取算法 ,克服了传 统的从单一或片面的测试指标进行特征抽取所造成的特征“过度拟合”问题 ,并基于此实现了二级分类模式的 文本分类系统 。和类中心分类法相比 ,实验结果表明二级分类模式具有较高的精度和召回率 。 关键词 :计算机应用 ; 中文信息处理 ;文本分类 ;测试指标 ;特征抽取 ;二级分类模式 中图分类号 :TP391 　　　文献标识码 :A Research and Implementation of Text Classif ication System Based on VSP CHEN Zhigang ,HE Pilian ,SUN Yueheng ,ZHEN G Xiaoshen ( School of Electronic Information Engineering ,Tianj in University ,Tianj in 300072 ,China) Abstract :Text classification is an important research task of natural language processing , which can efficiently resolve the issue of information chaos and help to locate the required information . The traditional approaches of text classification com monly extract feature terms from a single test criterion , which will lead to the problem of “over fitting”. This paper compre hensively takes test criterions such as frequency , distribution and concentration into account and proposes a new arithmetic of feature extraction and implements text classification system with twolevel mode . The experimental results show that twolevel classification mode has higher classification precision and recall compared with center classification method. Key words :computer application ; Chinese information processing ; text classification ;test criterion ;feature extraction ;two level classification mode 1 　引言 Internet 已被公认为是 20 世纪末人类科技史上的里程碑 ,它促使人类社会步入了以网络 为中心的信息时代 。随着 WEB 信息量爆炸性增长 ,人们很难从大量的信息中迅速有效地提取 出所需信息 ,出现所谓的“信息迷向