中文文本特征选择方法研究综述.docVIP

中文文本特征选择方法研究综述 徐泓洋杨国为 青岛大学电子信息学院 摘要： 针对文木的分析研宄中，根据分析目标的不同可归纳为文木分类和情感分析两 种类型，在某些情况下，情感分析也可以被看作是一种特殊的文本分类问题。文 本分类的一火特征是过高的向量维数，因此特征降维是文本分类的一火核心问 题，而特征选择是特征降维的核心技术之一。归纳总结了中文文本分类和情感分 析中常见的特征选择方法，分析各种方法的原理，指出其优缺点，并总结近年 来相应算法改进情况。 关键词： 文本分类;情感分析;将征选择; 收稿日期：2017.6.22 Review of Feature Selection in Chinese Text Analysis Abstract： This paper summarizes common feature selection methods in text classification and sentiment analysis of Chinese version, and analysis the principle of various methods, points out its advantages and disadvantages, and the improved algorithm in recent years arc conclude. Keyword： text categorization; sentiment analysis; feature selection; Received： 2017.6. 22 文本分类(Text Categorization)是指根据文本的内容将大量的文本归到一个 或者多个类别的过程。情感分析(Sentiment Analysis)也称文本倾向性分析， 一般分为情感极性分类和情感信息抽取两类。情感分析也可看作是一种特殊的文 本分矣问题。向量空间模型(Vector Space Model, VSM)是目前文本分笑和情 感分析中文本表示的主要方法，这种方法的基本思想是以向量来表示文本：(WH w2，…，WJ ,其中Wi为第i个特征项的权重，它的特点是文本向量的位数很高, 通常一个文木向量可以达到数万维的量级，过高的向量维数是文木分析的一大 问题。 特征降维是文本分析的核心技术之一，分为特征选择和特征抽取两种。特征选择 指从一组特征中选择出一些最有效的特征以降低特征空间的维数的过程，其利 用某种评价函数独立对每个原始特征项进行评估，然后将他们按评估值得高低 顺序排序，从中选取若干个评估值最高的特征项。 文本分类中常见的特征选择方法主要有文档频率、信息增益、互信息、CHT统计、 期望交叉熵、文本证据权、几率比等。本文将详细介绍这几种方法的原理，总结 相应算法改进研宄情况。 1常见特征选择方法 文本特征选择方法的基本思想是对每一个特征计算某种统计度量值，然后设定 一个阈值T，把度量值小于T的那些特征过滤掉，剩下的即为有效特征。 1.1文档频率 文档频率(Document Frequency, DF),即训练集文档中拥有茶个特征的文档数 量与总文档数的比值。文档频率可表示为： 式中Ft为出现特征t的文档数，D为文档总数。DF函数是最简单的评价函数，其 特点是计算量小。DF方法的理论假设是出现频率小的特征所含的信息量小，特 征选择时偏重于高频词。 ns 1=1 信息增益(Information Gain, IG)表示得知特征x的信息而使得矣ci的信息 的不确定性减少的程度。信息增益定义为:特征x对类别Ci的信息增益TG (X，Ci)， 定义类(^的信息熵U (Ci)与特征x给定条件下的条件熵11 (cjx)之差，即： 类向量的熵如下: H(c)=-S/p(c/)fogp(c/) 条件熵如下: H(clx) = Y yp(Xy )X/p(c//xy) logp^cJXj) 特征X与类别C的信息增益越大，说明特征X包含的与类别C有关的鉴别信息就 越多。 1.3互信息 互信息(Mutual Information, MI)是信息论中的概念，用于衡量两个变量之间 的关联程度。某个特征x在某个类别Ci中出现的概率高，在其它类别中出现的 概率低吋，特征x与类别x会有较高的互信息值。定义特征x与类别C|的互信 息公式为MI (X，Ci): 1. 4 CHI统计方法 CHI统计(chi-square statistic, CHI)特征选择方法乂被称作开方拟合检验 (CHI-test)。CHI统计方法度量文木特征x和文档类别c之间的相关程度，特 征对于类别c的卡方统计值越高，它与该类之间的额相关性就越大，携带的类 别信息也就越多。如果x与c之间相互独立，那么文本特征x的C11I估计值为零。