文本分类中特征降维方式研究.pdfVIP

第25卷第1期 海南大学学报自然科学版 V01．25No．1 NATURAI—SCIENCEHAINANUNIVERSrIIY Mar．2007 2007年3月 JoURNAI—OF 文章编号：1004一1729(2007)01—0062一05 文本分类中特征降维方式的研究 伍建军，康耀红 (海南大学信息科学技术学院，海南海口570228) 摘要：首先介绍了几种常见的特征选择和特征抽取方法，并结合K一近邻分类算法对4种特征选择方法进 行了分类测试，同时通过测试分析，提出了一些改进的、可行的互信息评价函数． 关键词：文本分类；特征降维；特征选择；互信息 391 文献标识码：A 中图分类号：，IP 随着网络技术的高速发展，网络上的电子文档也迅速增长，如何有效地帮助用户查找、过滤和管理这 些海量数据已显得越来越重要，因此，文本分类(基于文档内容，把一篇新文档分类到预定义好的类别中) 在许多信息组织和管理领域中的应用也越来越广泛． 文本分类大致可以分为3个步骤：文本的向量模型表示、特征降维和分类器训练．目前大多数使用向 量空间模型将文本表示成为向量形式，而向量的属性则有可能涉及到中文中的所有词汇，其向量的维数 是非常巨大的，同时考虑到一篇文章可能只包含极少数词语(比如，一篇文档只由几百个词语组成)，因而 向量表示文档具有稀疏性．这样高维的特征空间对文本分类的运算时间和空间复杂性是很不利的，因此， 在进行文本分类之前需要对文本进行特征降维，以最大程度地提高文本分类的精度，同时高效的特征降 维能够节省更多的存储空间、提高分类速度．特征降维的主要方法有特征选择、特征抽取．下面分别对几 种不同的特征降维方法进行介绍． 1 特征选择 特征选择指的是从特征总集中挑选出一部分有用的、对分类类别有贡献的词条组成特征子集，其一 般的方法是使用某种评估函数独立地对每个特征词打分，然后把特征词按照分值高低排队，取最高分的 一些特征词作为文本特征子集．特征选择并没有改变原始特征空间的性质，只是从原始特征空间中选择 了一部分重要的特征，组成一个新的低维空间…．下面就4种比较常用的特征选择方法，包括文档频率 (Document (CoHel撕onC础cient，CC)方法做进一步介绍． 1．1 文档频率词条的文档频率(DF)就是指在训练样本集中出现该词条的文档数．在进行特征抽取 时，将DF高于某个特定阈值的词条提取出来，低于这个阈值的词条给予滤除． DF评估函数的理论假设是稀有词条不含有用信息，或含有的信息太少不足以对分类产生影响，而应 当被去除．然而，这种假设与一般的信息抽取观念有点冲突，因为在信息抽取中，有些稀有词条(如类别特 征词)却恰恰比那些中频词更能反映类别的特征而不应该被滤除，因此，单独使用DF评估函数进行特征 而代之． 1．2互信息互信息本来是信息论中的一个概念，用于表示信息之间的关系，而本文则将这个概念引入 到特征选择来表示词条与类别之间的关系．使用互信息理论进行特征抽取是基于如下假设：在某个特定 类别出现频率高，但在其他类别出现频率比较低的词条与该类的互信息比较大． 收稿日期：2006一05—13 作者简介：伍建军(1982一)，男，湖南祁阳人，海南大学信息科学技术学院2004级硕士研究生． 万方数据 第l期 伍建军等：文本分类中特征降维方式的研究 对于某个类别C，与特定词条形的互信息计算公式为 ，p／口I，1、、 MI(q，形)=logI二苌≥≥￥l=log(P(形Icf))一log(P(形))， ＼ rLw)7 其中P(形J q)表示为词条形在类别C，中出现的频率，P(形)表示词条形在整个训练文档中出现的频率， 一类别时，特征与该类别的互信息很大；当特征与类别相互独立时，互信息为0；当特征很少在该类别文本 出现时，它们之间的互信息为负数，即负相关．由上述互信息计算公式可以看出，对于频率