一种改进的文本特征选择算法.docVIP

一种改进的文本特征选择算法 　　摘 要：在文本挖掘中，文档通常以特征向量的形式表示。为了提高文本挖掘算法的运行速度，降低占用的内存空间，过滤掉不相关或相关程度低的特征，提出一种改进的特征选择算法，该算法对特征进行综合考虑，从而更加准确地选取有效的特征。实验验证了改进算法的可行性和有效性。?? 　　关键词：文本挖掘；特征选择；特征向量;文档?? 　　中图分类号：TP18，TP393文献标识码：B 　　文章编号：1004-373X(2008)08-097-03?オ? 　　 　　Improvement for Feature Selecting from Text Mining?? 　　ZHU Haodong??1,CAI Lecai??1,LIU Zhongying??2?? 　　(1.Sichuan University of Science and Engineering,Zigong,643000,China;2.Xihua University,Chengdu,610036,China)?オ? 　　Abstract：In text mining,documents are usually mean with the form of the eigenvector.In order to enhance the operating speed and reduce the memory space occupied and filter out irrelevant or lower degree of features,an improved feature selection algorithm is presented.We comprehensively considered features,so features can be more effective and accurate selected.And the algorithm is verified exactly with the instance in this paper.?? 　　Keywords：textmining;feature selection;eigenvector;document 　　 　　传统数据挖掘所处理的数据是结构化的，其特征通常不超过几百个；而非结构化或半结构化的文本数据转换成特征向量后，特征数可能高达几万甚至几十万。理论上讲，文本集的特征越多就能越好地表示文本，而实践证明并非总是如此。过大的特征空间将导致此后的文本挖掘过程耗费更多的时间和空间资源，因此从原始特征集中选取最具代表性的特征是十分必要的。本文分析几种常见的特征评估方法，提出了一种改进的特征评估方法。?? 　　 　　1 一些常用的文本特征评估函数?? 　　在目前所采用的文档表示方法中,存在一个共同的不合人意的地方是文档特征向量具有惊人的维数,使特征子集的选择成为文本挖掘过程中必不可少的一个环节.特征选择即进行维数压缩的工作,这样做的目的主要有:提高程序效率和运行速度;提高分类精度,快速筛选出针对该类的特征项集合.?? 　　常用的文本特征评估函数有基于词频法、基于文档频法、信息增益、交叉熵、互信息等。对于这几种方法下面简单介绍一下。?? 　　1.1 信息增益?? 　　信息增益(Information Gain,IG)表示文本中包含某一特征时文本类的平均信息量，定义为某一特征在文本中出现前后的信息熵之差。信息增益的不足之处在于他同时考虑了特征出现与未出现两种情况。虽然某个词不在文本中出现也可能对判断文本类别有所贡献，但实验证明，这种贡献往往远小于其所带来的干扰。特别在样本分布和特征分布不均匀的情况下，某些类别中出现的特征词通常只占全部特征词很少的一部分，绝大多数特征词在这些类别中是“不出现”的，即此时信息增益大的特征主要是信息增益公式中后一部分大(代表词不出现情况)，而非前一部分大(代表词出现情况)，导致信息增益的效果大大降低。?? 　　1.2 交叉熵?? 　　与信息增益相似，二者的主要不同是信息增益需要计算所有可能特征分词的平均特征值，而交叉熵仅考虑在一篇文档中出现的词。?? 　　1.3 互信息?? 　　互信息(Mutual Information,MI)用于表征特征与类别之间的相关性。互信息没有考虑单词发生的频度，这是互信息一个很大的缺点，他导致互信息评估函数经常倾向于选择稀有词。?? 　　1.4 基于词频方法?? 　　[HTH]定义 [HTSS]词频特征f的词频是指特征f在一篇文档出现的次数，记为TF 。?? 　　如果用词频(TF)计算特征评估函数中的概率，则评估函数中用到的概率公式计算方法为: 　　?И?P