文本分类中基于对数似然比测试的特征词选择方法.PDFVIP

中　文 　信 　息 　学 　报 第 13 卷 第 4 期 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 13 No. 4 文本分类中基于对数似然比 测试的特征词选择方法 李国臣 山西大学计算机科学系 　太原 　030006 摘要 　本文将对数似然比测试用于文本分类中的特征词选择。与传统的频度 、集中度和 分散度等多种统计指标的测试独立进行的方法相比较 ,这种方法利用协方差矩阵协调了各个 统计指标之间的联系 ,从而将它们有机地统一为一个整体 。实验显示 ,这种特征词选择方法优 于传统的频度测试 、集中度测试和分散度测试独立进行的特征词选择的方法 。 关键词 　文本分类 　特征词选择 　对数似然比测试 A LogL ikel ihoodRatioTestBased Feature Word Selection Approach in Text Categorization Li Guochen Dep art ment of Comp uter Science 　Shanxi U niver sit y 　Taiyuan 　030006 Email :ligc @deer . sxu . edu . cn Abstract 　The p aper uses t he LogLikelihoodRatioTestBased feat ure wor ds selection app roach in t he field of text categorization . In comp arison wit h t he t raditional met hod , t hat is , each of t he frequecy test , salience test and dist ributioness test is conducted independently , t he p ropo sed ap p roach uses covariance mat rix to coor dinate t he associations among t he variant st atistics so t hat all of t hem are integrated into a whole . The experiment s show t hat t he app roach is superior to t he t raditional app roach . Key words 　Text categorization 　Feat ure Selection 　Log Likelihood Ratio Test 一 、引言 随着电子文本的大量涌现 , 电子文本的自动处理显得 日益迫切 。作为信息检索的一个辅 助技术 ,文本分类的研究成为一个重要的研究课题 。文本 自动分类的研究主要集中在两个方 ( ) 面 。第一个方面是特征单元的确定问题 , 即基于什么类型的特征 如字 、字串、词等 去分类 。 本文于 1998 年 9 月 24 日收到 16 第二个方面是特征选择问题 ,即在特征单元确定后如何去选择这些特征 。英文文本 自动分类 的研究主要有[ 1 ,4 ,5 ] 。汉语文本的自动分类研究如下 。关于特征单元的确定问题 ,最初的汉 语文本自动分类是基于字的 , [7 ]研究了基于二元同现字串的文本分类技术 ,试验结果表明基 于二元同现汉字字串的分类方法的准确率高于基于字的分类方法 。随