文本分类中一种新的特征选择方法 - 山东大学学报(工学版).pdf

　第４０卷　第４期 山　东　大　学　学　报　（工　学　版） ２０１０年８月　 　 　　 Ｖｏｌ．４０　 Ｎｏ．４　　　　　ＪＯＵＲＮＡＬＯＦＳＨＡＮＤＯＮＧＵＮＩＶＥＲＳＩＴＹ（ＥＮＧＩＮＥＥＲＩＮＧＳＣＩＥＮＣＥ） Ａｕｇ．２０１０　 　文章编号：１６７２３９６１（２０１０）０４０００８０４ 文本分类中一种新的特征选择方法 王法波，许信顺 （山东大学计算机科学与技术学院，山东 济南２５０１０１） 摘要：文本分类面临的一个主要问题就是如何降低文本巨大的特征维数，并且保持分类精度甚至提高分类精度。 针对该问题，提出了一种基于信息论的特征再提取方法，旨在删除稀疏分布的特征、保留有利于分类的特征。使 用该方法时配合特征选择方法，可进一步降低特征维数。实验结果表明，该方法能将特征维数降低到几百维，而 且能提高分类器的性能。 关键词：文本分类；特征选择；熵；互信息；信息增益；卡方统计 中图分类号：ＴＰ３９１　　　文献标志码：Ａ Ａｎｅｗｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄｆｏｒｔｅｘｔｃａｔｅｇｏｒｉｚａｔｉｏｎ ＷＡＮＧＦａｂｏ，ＸＵＸｉｎｓｈｕｎ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｈａｎｄｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｊｉｎａｎ２５０１０１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｈｏｗｔｏｒｅｄｕｃｅｆｅａｔｕｒｅｄｉｍｅｎｓｉｏｎｗｈｉｌｅｍａｉｎｔａｉｎｉｎｇｃａｔｅｇｏｒｉｚａｔｉｏｎａｃｃｕｒａｃｙｉｓａｋｅｙｉｓｓｕｅｏｆｔｅｘｔｃａｔｅｇｏｒｉｚａ ｔｉｏｎ．Ａｎｅｗｍｅｔｈｏｄｂａｓｅｄｏｎｉｎｆｏｒｍａｔｉｏｎｔｈｅｏｒｙｗａｓｐｒｏｐｏｓｅｄｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ．Ｔｈｉｓａｐｐｒｏａｃｈａｉｍｓｔｏｅｌｉｍｉｎａｔｅ ｓｐａｒｓｅｌｙｄｉｓｔｒｉｂｕｔｅｄｆｅａｔｕｒｅｓａｎｄｆｉｎｄｆｅａｔｕｒｅｓｕｓｅｆｕｌｆｏｒｃａｔｅｇｏｒｉｚａｔｉｏｎ．Ｗｏｒｋｉｎｇｗｉｔｈｔｈｅｓｅｆｅａｔｕｒｅｒｅｄｕｃｔｉｏｎｍｅｔｈｏｄｓ，ｉｔ ｃｏｕｌｄｆｕｒｔｈｅｒｒｅｄｕｃｅｔｈｅｆｅａｔｕｒｅｄｉｍｅｎｓｉｏｎ．Ｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｉｓｐｒｏｐｏｓｅｄｍｅｔｈｏｄｗａｓｔｅｓｔｅｄｏｎｂｅｎｃｈｍａｒｋｔｅｘｔｃｌａｓ ｓｉｆｉｃａｔｉｏｎｐｒｏｂｌｅｍｓ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｉｔｃｏｕｌｄｎｏｔｏｎｌｙｒｅｄｕｃｅｔｈｅｆｅａｔｕｒｅｄｉｍｅｎｓｉｏｎｔｏｈｕｎｄｒｅｄｓｂｕｔａｌｓｏｉｍｐｒｏｖｅ ｔｈｅｐｅｒｆｏｒｍａｎｃｅ． Ｋｅｙｗｏｒｄｓ：ｔｅｘｔｃａｔｅｇｏｒｉｚａｔｉｏｎ；ｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎ；ｅｎｔｒｏｐｙ；ｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ；ｉｎｆｏｒｍａｔｉｏｎｇａｉｎ；ＣＨＩｓｑｕａｒｅｓｔａｔｉｓｔｉｃｓ 集中选择一个特征子集来提高分类器的训练速度， ０　引言 提高分类精度。常用的特征选择方式有文档频率、 信息增益、期望交叉熵、互信息和卡方统计，其中信 　　随着网络的普及，网络上的信息量迅速的增加。 息增益和卡方统计的效果较好［１］。特征抽取是从 如何有效的处理和组织这些文本数据，成为当前研 原始特征中抽象出新的特征，然后使用新的特征进 ［２］ 究的重要课题，而文本分类是其中的核心任务之一。 行训练和分类。常用的方法有主成分分析 、特征