基于概念信息量的特征权重计算方法的研究.pdfVIP

基于概念信息量的特征权重计算方法研究 缪建明 张全 院语言声学与内容理解实验室 摘要：特征权重是文本分类中分类计算的核心，对文本分类的效果有着重要的影响。现阶段 特征权重计算中广泛采用TF*IDF方法，但这种方法忽略了特征项语义之间的关联性对权重的 影响。针对该问题，我们提出了一种新的特征向量权重计算方法(TF*IDF*CIV)，引入语义 概念信息量CIV作为一个变量考虑在权重的计算过程中。实验结果表明，该算法是有效可行 的，且在一定程度上提高了文本分类的正确率、召回率。 关键词：特征向量；概念信息量CIV；语义关联性；TF*IDF 音频声学 熵权重和TF．IWF方法，现阶段TF*IDF及其基础上进行的各种改进计算方法被广 泛的用来计算特征向量的权重。 从本质上说，这些方法均忽略了特征词所含概念对分类的贡献程度，同时也 忽略了特征词之间的关联性程度，弱化了文本分类的效果。由此我们提出了本文 上，我们引入概念信息量CIV这一变量，通过特征词语义概念符号计算强化特征 词的分类贡献程度，同时利用概念之间的关联性弥补了相关特征项弱化分类效果 的影响。Resnik根据义类词典中两个概念的共同祖先节点的最大信息量来衡量两 个概念的语义相似度，两个概念共享信息越多，其语义相似性越大[3]。由此我们 也得出词汇之间的信息量也可以采用词语概念共享信息的多少来计算的结论，我 们根据概念符号体系中概念共同祖先节点的最大信息量计算CIV的值。 在实验中我们以词为单位形成向量空间模型，利用IG方法进行特征选取，采 用TF}IDF木CIV方法实现向量权重计算，使用k一最近邻法构造分类器。实验证明 改进后分类准确率提高了6．5个百分点，这也充分证明了这种方法的有效性。 3算法及实现 面向文本分类的特征权重分类器装置，由语料收集及预处理装置、特征选择 装置、特征权重计算装置、分类器、分类选优装置组成，各部分实现不同的系统 功能，具体的算法实现框图如图1所示。 最优特征词 数t-1 图1算法框图 3．1语料选择 实验采用的语料包括6000篇从互连网f-]p网站上收集的文本，分属于三个领 域，各领域文本数分别是：市政市容管理类(1019篇)、灾难事件类(2215篇) 和其他类(2766篇)。 3．2特征选取 我们采用最常用也是被实验证明最为有效的词作为文本分类的特征项，使用 信息增益法来进行特征选取。我们的具体步骤如下： ·-257—- 中国科学院声学研究所第四届青年学术会议论文集 1)提取词表。在分词等预处理结束之后，计算每一个词作为特征的信息增益 值。信息增益法依据某特征项t，为整个分类所能提供的信息量多少来衡量该特征 项的重要程度，从而决定对该特征项的取舍。其中，信息量的多少由熵来衡量。 信息增益即不考虑任何特征时文档的熵和考虑该特征后文档的熵的差值： En仃opy(S Gain(t，)=Entropy(S)一Expectedti) M ^， l云)】 I‘)·log尸(q +P(‘)·【一∑尸(Cj 式中，P(C，)表示C，类文档在语料中出现的概率，P(t，)表示语料中包含特征 J 项tt的文档的概率，P(Cl t，)表示文档包含特征项t，时属于C，类的条件概率， J ，’ I t、 P(‘，)表示语料中不包含特征项t，的文档的概率，uItJ#乙，¨∥表示文档不包含特征项 t，时属于C／类的条件概率，M表示类别数。 6000)的词语，作为特征向量。 3．3特征权重计算方法