一种改进的文本特征选择方法.pdfVIP

第 12卷 第 12期 2012年4月 科 学 技 术 与 工 程 Vo1．12 No．12 Apr．2012 1671— 1815(2012)12-3002—03 ScienceTechnologyandEn~neefing ⑥ 2012 Sci．Tech．Engrg． 一 种改进的文本特征选择方法 孙 凯 魏海平 (辽宁石油化工大学计算机与通信工程学院，抚顺 113001) 摘 要 随着Internet技术的飞速发展，网页上存在着各种各样、类 目繁多的信息，因此 网页分类技术就显得越来越有意义。 使用向量空间模型(VsM)来表示网页文本，提出了一种改进X 的文本特征选择方法。最后通过支持向量机方法进行分类。 实验结果表明，相对于传统的X文本分类统计方法，改进后的特征选择方法的分类效果要好于传统的x 统计方法。 关键词 文本分类 特征选择 x 统计 中图法分类号 TP319； 文献标志码 A 随着互联网技术的飞速发展，Web文本数量急 (VSM)，它的作用是将一篇文档表示为一个向量， 剧增加，如何对这些数 目繁多，纷乱复杂的文本进 即将文档 d表示为：V(d)= {W (t。)， (t：)，…， 行分门别类就显得越来越重要。文本 自动分类 (t)，-·．，w (t)}，其中t为文档 d中词条的特征 就是在指定了类别的情况下，程序根据从训练数据 项，W为t在文档 d中对应的权值，为特征项的 中得到的分类器去判断一篇给定文档所属类别。 个数。 中文文本分类过程包括文本预处理，特征项选择和 文本分类中，特征选择的基本思想通常是构造 构造分类器等过程。本文将研究的重点放在特征 一 个评估函数，对特征集中的每个特征分别进行评 选择方法上。 估，然后对所有的特征按照其评估分的大小进行排 序，选取预定数 目的最佳特征作为结果的特征子 特征选择 顾名思义就是从原始特征集 T= 集。本文中将对x 统计量进行分析，在此基础上做 {t，t：，…，t}中选择出一个真子集T= {t，，，，…， 出改进，使其达到更好的分类效果。 1，使其满足 (ss)。其中，s为原始特征集大小， s’为选择特征集大小。特征选择有两个准则：一是 1 统计及改进特征选择方法 经选择后能够有效提高准确率；二是选择不改变原 在现有的研究中，x 统计被认为是一种非常有 始特征空问的性质，它只是从原始特征中选择一部 效的维数缩减方法 J，Yang通过大量的实验研究表 分重要特征组成新的低维空间。在 中文文本 中可 明，)(统计是 目前效果较好的特征选择方法之一。 以采用字、词或短语作为表示文本的特征项 j。相 1．1 统计量(CHI)方法 比较而言，词比字具有更强的表达能力，而词和短 ×统计方法L6度量词条 t和文档类别c之间的 语相比，词的切分难度比短语的切分难度要小的多。 相关程度，并假设 t和 c之间符合具有一阶 自由度 在文本分类中有很多表示模型，但是最常用的 的 分布。词条对于某类的统计值 越高，它与 文本表示模型是 由Salton提出的向量空间模型 该类之间的相关性越大，携带的类别信息也越多。 令 Ⅳ表示训练语料中的文档总数，c为某一特定类 2012年2月 8日收到 别，t表示特定的