文本分类中词语权重计算的改进.docVIP

文本分类中词语权重计算的改进 　　摘要：文本的形式化表示一直是文本检索、自动文摘和搜索引擎等信息检索领域关注的基础性问题。向量空间模型（Vector Space Model）中的TF.IDF文本表示是该领域中得到广泛应用并且取得较好效果的一种文本表示方法。词语在文本集合中的类别分布比例量上的差异是决定词语表达文本内容的重要因素之一。但现在的TF.IDF方法无法把握这一因素，针对这一缺点，将信息增益公式引入文本集合中并提出TF.IDF.IG文本表示方法，并比较分析了其相较于传统TF.IDF公式的优点，用实验验证了其可行性和有效性。 　　关键词：文本表示；向量空间模型；词语权重；信息增益 　　中图分类号：TP391文献标识码：A文章编号：1009-3044(2011)01-0204-03 　　Improvement to Weighting Terms in Text Classification 　　ZHANG Qing, XIONG Qian-xing 　　(Department of Computer Science and Technology，Wuhan University of Technology, Wuhan 430063, China) 　　Abstract: The formalization of text is always a fundamental issue in the area of information retrieval, such as text retrieval, automatic abstract, search engine etc. The TF.IDF text representation in Vector Space Model is an efficiency and widespread used method in this area. The difference in categorical distribution proportion in text aggregate of words is one of the key factors which determine the content of words. But the present TF.IDF method cannot handle this factor. For this shortcoming, this article introduces the text information gain formula to text aggregate and proposes the TF.IDF.IG text representation method, compares and analysis its advantages to the traditional TF.IDF formula, verifies the feasibility and validity with experiments. 　　Key words: text representation; vector space model; weight of words; information gain 　　1 概述 　　随着各种电子形式的文本文档如电子出版物、各种电子文档、电子邮件和万维网等文本数据库等以指数级的速度增长，有效的信息检索、内容管理以及信息过滤等应用也变得越来越重要。文本的自动分类是有效的解决办法之一，并且已经成为一项具实用价值的关键技术。而文本分类所要解决的首要问题就是文本的形式化表示[1]。 　　在现有的几种文本表示模型中，向量空间模型（VSM）由于具有较强的可计算性和可操作性，得到了广泛了应用并且取得了较好的效果。在该模型中，文档的内容被形式化为多 　　维空间中的一个点，通过向量（vector）的形式给出[2]。因此，向量空间模型文本表示的形式化方法是基于文本处理的各种应用得以实现的基础和前提。基于此，本文针对向量空间模型中经典的词语权重计算方法的不足之处提出了一种结合信息论中信息增益的改进算法，并通过验证了其可行性和有效性。 　　2 传统的TFIDF 　　传统的特征权重计算主要考虑特征项的频率信息TF以及反文档频率信息IDF[3]。 　　2.1 特征项频率（Term Frequency,TF） 　　TF是特征项频率，它是指特征项在文档中出现的次数。特征项可以是字、词、短语，也可以是经过语义概念词典进行语义归并或概念词语权重计算方法后的语义单元。不同类别的文档，在某些特征项的出现频率上有很大差异，因此频率信息是文本分类的重要参考之一。它的计算公式为：