中文信息学报.PDF

中　文 　信 　息 　学 　报 第 19 卷 第 6 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 19 No6 ( ) 文章编号 :1003 - 0077 2005 06 - 0021 - 07 基于类别特征域的文本分类特征选择方法 1 赵世奇 ,张 　宇 ,刘 　挺 ,陈毅恒 ,黄永光 ,李 　生 ( 哈尔滨工业大学 信息检索研究室 ,黑龙江 哈尔滨 　150001) 摘要 :特征选择是文本分类的关键问题之一 ,而噪音与数据稀疏则是特征选择过程中遇到的主要障碍 。 [ 1] 本文介绍了一种基于类别特征域的特征选择方法 。该方法首先利用“组合特征抽取” 的方法去除原始特征 ( ) 空间中的噪音 ,从中抽取出候选特征 。这里 ,“组合特征抽取”是指先利用文档频率 DF 的方法去掉一部分低 频词 ,再用互信息的方法选择出候选特征 。接下来 ,本方法为分类体系中的每个类别构建一个类别特征域 ,对 出现在类别特征域中的候选特征进行特征的合并和强化 ,从而解决数据稀疏的问题 。实验表明 ,这种新的方 法较之各种传统方法在特征选择的效果上有着明显改善 ,并能显著提高文本分类系统的性能 。 关键词 :计算机应用 ; 中文信息处理 ;文本分类 ;特征选择 ;类别特征域 中图分类号 :TP391 　　　文献标识码 :A A Feature Selection Method Based on Class Feature Domains for Text Categorization ZHAO Shiqi ,ZHAN G Yu , LIU Ting , CHEN Yiheng , HUAN G Yongguang , LI Sheng ( Information Retrieval Laboratory , Harbin Institute of Technology , Harbin , Heilongj iang 150001 , China ) Abstract :Feature selection is one of the key problems in text categorization . The chief obstacles to feature selection are noise and sparseness. This paper presents a novel feature selection method which is based on class feature domains. First , we will make use of the combined feature selection method[ 1] to remove noisy features from the original feature space and ex tract candidate features. That is , we ’ll take off low frequency words using Document Frequency method fi