关于文本分类中特征选择方式的研讨.pdfVIP

第二f‘届伞囤计算机信息管理学术研讨会 关于文本分类中特征选择方式的研究 海南大学信息科学技术学院伍建军康耀红 (海南大学信息科学技术学院， 海南海口，570228) 【摘要】文本分类的一个关键点就是如何对高维的特征集进行降维。而特征降维的一般方法就是 特征选择。介绍了几种常见的特征选择方法，并结合K一近邻分类算法对这四种特征选择方法进行了 分类测试，最后通过测试分析，提出了一些改进的、可行的互信息评价函数。 【关键词】文本分类，特征选择，互信息，K近邻法 【中图分类号】TP391 Researchaboutfeatureselectionintext categorization WU KANG Jian-jun， Yao—hong ofInformation 570228， (College Science＆Technology，HainanUniversity，Hainan，Haikou China) [Abstract]Theoftext ishowtoreducethe dimensionofthefeaturevectors． key point categorization high Feature isthecommonmethods introducesfourmethodsof selection offeaturereduction．This paper featureselection．Andthenk-nearest selectedasthe classifierto the neighbor(KNN)isevaluating compare thefourfeatureselectionmethodsin the anew methodof of TC．Fromtestresult， performance improved FSis basedonMutualInformation，andis tobeeffective presented proved byexperiment． Featureselection，Mutualinformation，k-nearest [Keywords]textcategorization， neighbor 1引言 随着网络技术的高速发展，网络上的电子文档也迅速增长，如何有效地、更好地帮助用户查找、 过滤、管理这些海量数据显得越来越重要，因此文本分类(基于文档内容，把一篇新文档分类到预 定义好的类别中)在许多信息组织和管理领域中的应用越来越广泛。 文本分类大致可以分为三个步骤：文本的向量模型表示、特征抽取、分类器训练。目前大多数 使用向量空间模型对文本表示成为向量形式，而向量的属性则有可能涉及到中文中的所有词汇，其 向量的维数是1|=常巨大的，同时考虑到一篇文章只不过包含极少数词语(比如，一篇文档只由几百 个词语组成)，可知文档表示向量的稀疏性。这样高维的特征空间对文本分类的运算时间和空间复杂 性是很不利的，冈此在进行文本分类之前需要对文本进行特征降维，以最大程度的提高文本分类的 精度，同时高效的特征降维能够节省更多的存储空间、提高