文本分类技术.docVIP

文本分类技术 　　摘要:该文介绍了文本分类的定义,主要的特征选择方法,文本表示的向量空间模型,分类效果的评价指标。 　　关键词:文本分类;特征选择;向量空间模型 　　中图分类号:TP311文献标识码:A文章编号:1009-3044(2009)24-6784-02 　　 　　Technology of Text Categorization 　　ZHANG Hua 　　(Institute of Minjiang, Fuzhou 350011, China) 　　Abstract: This paper introduces the definition of text categorization, primary methods of feature selection, vector space model for text representation, evaluation for the classification result. 　　Key words: text categorization; feature selection; vector space model 　　 　　1 文本分类定义 　　 　　文本分类属于有监督的机器学习,即利用预定义的文本类别和训练文本指导新的测试文本的学习,从而确定新文本的类别。从数学角度来说,文本分类可以这样定义:设文档集D={d1,d2,…,di},预定义类集C={c1,c2,…,ci},确定任意一个元组映射到集合{True,False}上的值,故文本分类器实际上就是这样一个函数?兹:D×C→{True,False}。图1给出了文本分类的一般处理过程图。 　　 　　2 文本处理 　　 　　2.1 分词 　　在使用向量空间模型表示文本时,是以特征项为基本单位的,而特征项可以取字、词或短语,所以,要对文本进行相应的预处理操作,提取出特征项序列。在汉语中,词是最小的语义基本单位,中文信息处理系统只要涉及句法、语义,就需要以词为基本单位,而文本分类算法也一般采用特征项表示文本。由于中文的表示中词与词之间没有明显的间隔符号,因而自动分词问题是中文信息处理的难点。 　　2.2 特征选择 　　文本分类中的特征选择方法主要有:特征词的文档频率法DF(Document Frequency)、信息增益法IG(Information Gain)、互信息法MI(Mutual Information),?字2统计法(CHI)、交叉熵(Cross Entropy)等。 　　1)特征词的文档频率(DF) 　　一个特征的文档频率(Document Frequency)是指在文档集中含有该特征的文档数目。采用DF作为特征选择,基于如下基本假设:DF值低于某个阈值的词条是低频词,它们不含或含有较少的类别信息。我们假定很少出现的特征词携带的信息量为0,或者说对分类性能的影响不大。将这样的词条从原始特征空间中除去,不但能够降低特征空间的维数,而且还有可能提高分类的精度。文档频率是最简单的特征抽取技术,由于其相对于训练语料规模具有线性的计算复杂度,它能够很容易被用于大规模语料统计。 　　2) 信息增益方法(IG) 　　信息增量(Information Gain)表示文档中包含某一特征值时文档类的平均信息量。它定义为某一特征在文档中出现前后的信息熵之差。假设c为文档类变量,C为文档类集合,d为文档,f为特征。对于特征f,其信息增量记为IG(f),计算公式如下: 　　3) 交叉熵(CE) 　　交叉熵(Cross Entropy)和信息增益相似,不同之处在于信息增益中同时考虑到了特征在文本中发生与不发生时的两种情况,而交叉熵只考虑特征在文本中发生的一种情况。对于特征f,其交叉熵记为CE(f),计算公式如下: 　　?字2统计也是用于表征两个变量的相关性,但它比互信息更强,因为它同时考虑了特征词存在与不存在时的情5) 互信息方法(MI) 　　互信息是用于表征两个变量间相关性的。对于文档类别c和特征f,其互信息记为M(c,f),计算公式如下: 　　显然,当f独立于c时,MI(c,f)为0,在应用时一般取平均值: 　　 　　3 文本表示 　　 　　文本表示的模型常用的有:布尔逻辑模型(Boolean Model),向量空间模型(VSM, Vector Space Model), 潜在语义索引(LSI,Latent Semantic Indexing)和概率模型(Probabilitic Model)。目前文本的表示主要采用的是向量空间模型。向量空间模型的基本思想是使用词袋法(Bag of Word)表示文本,这种表示法的一个关键假设,就是文章中词条出现的先后次序是