基于粗糙集文本分类方法研究.pdfVIP

中　文 　信 　息 　学 　报 第 19 卷 第 2 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 19 No2 ( ) 文章编号 :1003 - 0077 2005 02 - 0066 - 05 基于粗糙集的文本分类方法研究① 卢娇丽 ,郑家恒 ( 山西大学 计算机与信息技术学院 , 山西 太原 　030006) 摘要 :本文旨在利用粗糙集优越的约简理论对文本进行分类 。主要完成了以下几个方面的任务 :对文本 进行了预处理 ;改进了Okapi 权重计算公式 ,并对权值进行了离散化 ;实现了属性约简和规则抽取 ,首先利用 区分矩阵对特征向量维数进行了初次压缩 ,然后通过相对约简计算再次压缩了特征向量维数 ,并生成了决策 规则 ;采取了规则合成的策略 ,生成最终的决策规则 ;设计了一种文本与规则的匹配算法 ,使匹配过程尽可能 简单有序 。试验结果表明该方法是行之有效的。 关键词 :人工智能 ; 自然语言处理 ;文本分类 ;粗糙集 ;决策规则 中图分类号 :TP391 　　　文献标识码 :A The Research of Text Categorization Based on Rough Set LU Jiaoli , ZHEN GJiaheng ( Institute of computer and information technology , Taiyuan ,Shanxi 030006 ,China) Abstract : This paper is to fulfill text categorization tasks by using the perfect reduction theory of rough set . It mainly fin ished the following several jobs. Pretreated the documents. Improved the Okapi term weighting formula . It also separated the term weighting and completed attributes reduction and rules extraction tasks. Firstly it reduced the feature vector dimensions by using discernible matrix. Then reduced it again by computing relative reductions. Finally it produced the decision rules and employed the rulecombined tactics to produce the final decision rules. Designed an algorithm for matching documents to rules so that the matching procession could be as simple and orderly as possible . The results of the experiment indicate that the approach is effective . key words : artificial intelligence ; natural language processing ; text categorization ; rough set ; decision rule 1 　引言 文本分类是中文信息处理的一个重要的研究领域 。其 目标是在分析文本内容的基础上 , 给文本分配一个或多个比较合适的类别 ,从而提高文本检索 、文本存储等应用的处理效率 。目