文本分类中基于位置和类别信息一种特征降维方法.docVIP

文本分类中基于位置和类别信息一种特征降维方法 　　摘 要：从文本特征项所处的位置角度提出了特征项基于位置的降维方法；同时结合特征的类别分布进行了二次特征降维。这种基于位置和类别相结合的特征降维方法在最大程度减少信息损失的条件下，实现了特征维数的有效压缩。实验表明，该方法有较高的文本分类效率。 　　关键词：文本分类； 特征选择； 特征降维； 位置加权； 类别分布 　　中图分类号：TP391 文献标志码：A 文章编号：1001-3695(2008)08-2292-03 　　 　　Method of feature reduction in text classification 　　based on position and sort information 　　LIU Hai-feng??a,b??, WANG Yuan-yuan??a, ZHANG Xue-ren??b, YAO Ze-qing??b 　　(a. Institute of Command Automation, b.Institute of Sciences, PLA University of Science Technology, Nanjing 210007, China) 　　Abstract:From the position of the terms, this paper put forward a method to reduce the dimensionality. Meanwhile, combined with the sorts distributing, it once more reduced the feature dimension. Therefore，in precondition of the information loss least, connecting with the two aspects, used this method to complete the text feature decrease smartly. The test shows that this method has better precision in the text categorization. 　　Key words：text categorization; feature selection; feature reduce; positionweight; sort distribution 　　 　　Internet的迅猛发展改变了人们的生活方式，人类社会步入了以网络为信息载体的全新信息时代。伴随着Web信息量的指数形式增长，在享受着信息“海洋”所提供的便利的同时，“信息迷航”的困境使得人们对如何获取有效信息提出了更高的要求。作为信息处理技术的重要内容之一，文本自动分类技术已成为文本挖掘的研究热点之一。文本分类是指在给定的分类体系下,根据文本内容自动确定文本所属类别的过程。将文本分类技术与搜索引擎、信息过滤等信息处理技术相结合，能够有效地提高信息服务的质量，它是文本挖掘的一个重要组成部分,在情报检索、信息过滤等许多方面有重要现实意义和广阔的应用前景。 　　 　　1 文本分类的主要问题及其处理方法 　　 　　总的说来，文本分类方法可分为基于知识和基于距离两种。基于知识的方法是指借助专家的经验知???，构建分类专家系统作为分类器进行分类。由于这种模式费时费力，并且扩展性差，难以适用于大规模的文本分类，特别是基于Web的文本分类要求。目前普遍采用的是基于距离分类的方法,如朴素贝叶斯方法、决策树方法、k-近邻方法、回归模型方法、神经网络方法以及支持向量机方法等[1]。文本自动分类的关键问题是文本的合理表示、特征降维以及分类器的构造。 　　1.1 向量空间模型及其主要问题 　　在文本表示方法上基于向量空间模型的分类模式具有概念简单、应用方便等优点，是主流的文本分类模型之一。在向量空间算法模型中，文本??d??j??被映射为一个特征向量： 　　?? ,需分类的文本为??d??j??,两者的相似度可用向量之间的夹角来度量，夹角越小说明相似度越高。相似度计算可以使用常用的向量夹角余弦公式: 　　sim??(d??i,d??j)=∑nk=1w??ik??w??jk??/∑nk=1w??2??ik??∑nk=1w??2??ik????（3） 　　向量空间模型的优点在于将非结构化的文本表示为向量形式，使得各种数学处理成为可能。但是其不足之处也很明显: 　　a）该模型假定特征项之间相互独立，然而实际情况是一词多义和多词同义现象在文本中非常普遍。这种词语之间关系相互独立的基本假设在实际应用中很难得到