一种用于文本分类的特征选择方法.docVIP

一种用于文本分类的特征选择方法 　　摘要：文本分类是文本信息处理领域一个非常重要的研究方向，为了节省文本分类处理中所需的存储空间和运算时间，在分类之前用高效的算法减少所需分析的数据是非常必要的。该文介绍了一种文本分类中特征降维的方法。和传统的方法不同，该文所涉及的特征是从句子中提取的不同长度的词组，然后用比数比来对其进行特征选择。实验结果表明，该文提出的方法与传统方法相比，提高了文本分类的准确率。 　　关键词：文本分类；特征提取；特征选择；比数比 　　中图分类号：TP18文献标识码：A文章编号：1009-3044(2008)34-1762-03 　　A Feature Selection Method for Text Categorization 　　ZHOU Han1,2, ZHAO Wei-dong1,2, JI Jun3 　　(1.The Engineering Research Center for Enterprise Digital Technology, Ministry of Education, Tongji University, Shanghai 200092, China; 2. Research Center of CAD, Tongji University, Shanghai 201804, China; 3. China Petroleum Chemical Corporation Maoming Branch Chemical, Maoming 525011, China) 　　Abstract: Text categorization is a very important direction in text information process field. In order to save storage space and computing time in text categorization, it is necessary to reduce data which need to be analyzed by effective algorithm before classification. This paper introduces a method of dimensional reduction of features for text categorization. Unlike the traditional way, the feature refer in this article is the phrase of different length extracted from sentence, then use odds ratio to process feature selection. Experimental results show that, the proposed method in this paper has higher accuracy than conventional ones. 　　Key words: text categorization; feature extraction; feature selection; odds ratio 　　1 引言 　　随着互联网络的发展，文本信息充斥着我们的生活，并且还在以迅猛的速度膨胀。在当前GB，TB级的文本集上，人工分类已经不能满足要求，因此如何有效的将这些文本信息自动加以分类便于管理和利用成为我们今天的一个重大课题，以此为目的的自动文本分类技术也应运而生。文本的表示主要采用向量空间模型（Vector Space Model，VSM），其基本思想是把文本看作向量空间中的一个n维向量(W(t1)，W(t2)，…W(tn))，其中t1, t2,…tn为表示文本的n个特征，W(tk), k=1,2,…n是第k个特征在该文本中对应的权重。在文本处理上，一般先进行分词，形成文本特征向量，也就是特征提取，然后进行特征选择，实现特征降维，最后根据一定的算法，比较文本特征向量与预定义类别的相似度，把文本归类到最相似的那个预定义类别。常用的分类算法[1]包括简单的向量距离，朴素贝叶斯，支持向量机，神经网络和K最近邻居算法等。 　　文本分类的一个难点是特征空间的高维性和文档表示向量的稀疏性，中文的词条有二十多万条，为了降低特征空间的维数，提高分类的效率和精度，寻找有效的特征提取和选择算法成为文本分类中一项非常重要的任务。 　　传统的特征处理方式[2]使用向量空间中的“词袋法”(BAG-OF-WORDS)来表示文本。这种方法有一个关键的假设，就是文章中出现的词条的次序是无