基于核方法文本极性分类研究.docVIP

基于核方法文本极性分类研究[摘要]该文研究文本极性分类算法优化问题。目前算法多以计算词的极性进行文本极性分类，由于不能保证词的主题相关性，导致文本情感分析准确率较低。为了提高分类精度，该文提出一种新的文本极性分类方法，首先用tf/idf算法抽取主题词确定文本主题句，然后对句子进行句法分析，并利用核函数设计基于词特征、词义特征以及句法特征等多特征融合的句子极性计算方法，通过分析情感主题句的极性进行文本情感倾向的判断。新方法不仅考虑了词本身的极性，还根据核函数区分词的动态极性，同时避免与主题无关的句子对分析结果的影响，进行实验与其它分类算法作比较，证明新方法能够有效提高文本情感分析的准确率，可为设计提供实用有效的算法 [关键词]核函数 句法分析 主题句 极性分类 情感分析 1引言 文本极性分类主要是指利用计算机自动分析带有主观性的句子或文档，对它们的情感倾向进行分类，从而判断出用户的态度[1]。文本极性分类近年来已经成为自然语言处理领域的热点问题，目前所采用的方法主要有两种。第一种是基于机器学习的方法，首先将具有情感色彩的词分成是正例和负例，然后以词频统计基础，建立一个二元的分类器，从而进行简单的情感分类；另一种是基于语义的情感分析方法，首先进行相关词的语义倾向分析，然后计算整个文本的情感倾向指标。例如，文献[2] 计算文本中词汇与HowNet中已标注褒贬性词汇间的相似度，获取词汇的极性。在此基础上，选择极性明显的词汇作为特征值，用SVM分类器分析文本的褒贬性。最后采用VSI否定规则匹配文本中的语义否定，以提高分类效果，以及处理程度副词附近的褒贬义词，以加强对文本褒贬义强度的识别。文献[3] 通过标记语料库获得文本中的极性元素，然后采用极性元素的分布、极性元素的密度和极性元素的语义强度三个度量指标来对每个文本进行统计，得出文本褒贬分类和强度大小的结果。文献[4]通过分析文本中的情感词以及由这些情感词构造的短语模式，作为文本的情感特征，并利用这些特征实现文本的情感判别。文献[5]利用HowNet提供的语义相似度和语义相关场计算功能，计算词语间的相似程度，根据所得的语义倾向度量值判别其褒贬倾向，进而进行文本的倾向性分析 这些方法多是单纯从词的倾向性分析入手，但是以词为粒度的情感分析，不能保证所有被分析的词汇都是主题相关的，这种不确定性将直接影响文本情感分析的准确性。如果在进行文本的情感分析时，将与主题无关的词语或者句子剔除，仅仅只对与文本主题相关的句子或词语进行分析，将有助于提高情感分析的准确率 基于以上的分析，本文以句子为例，主要研究如何有效提取文本中的主题情感句，设计并利用核函数通过计算相似度对情感主题句进行情感倾向判断，从而获得文本的情感倾向，排除与主题无关的情感句对判断准确率的影响 2系统的原理依据 本文实现了文本情感主题句的自动抽取和基于核函数的多特征融合句子倾向性分析，最后进行文本倾向性的判断。主要通过以下几步进行：首先，用tf/idf算法抽取主题词，然后对主题词进行语义逻辑推理，将包含语义含义主题词的句子作为候选主题句子，通过公式计算各个候选句子的重要度，最终确定文本情感主题句；然后对主题句子进行句法分析，通过多特征融合的核函数计算得出主题句倾向度；最后累加主题句倾向度进行全文的文本倾向性判断。具体框架如图1所示。实验结果表明，由于考虑了词、词义、句法等特征，句子倾向性分析的召回率和精确率有显著的提高，并且计算整个文本情感倾向时排除了与主题无关的句子，从而也提高了算法的准确率 3系统的实现步骤 3.1主题词提取 主题词即指能够体现某个文本的主题属性，并具有使之与其它主题有明显分别的作用的词。本文对所有训练语料进行分词、词性标注后，提取所有的名词，接着采用类似TF-IDF的词频统计方法计算每个词条Ti的权重Wi，公式如下： (1) 其中TFi是词条Ti在文档中的词频，在统计词语出现次数时，考虑到文档中不同位置内容的重要性各不相同，因此通过分配适当的比例因子来对词频进行加权调整。N为文档中的句子总数目，ni是文档中包含Ti的句子数目 采用上述方法计算出文档中所有词条的权重，并进行归一化处理，使得词条权值介于0和1之间。权值越大，则越能反映文档的主题。将词条按权值从大到小的顺序排列，依次选取前面适当数目（文中选前15个）的词条作为该文档的主题词，然后结合领域背景，构建概念语义网络，对所得到的主题词进行语义逻辑推理，最后将所有包含符合语义含义的主题词句子作为候选主题句子 3.2 句子重要度计算 为了从候选集合中最终确定文本的主题句子，需要对句子重要程度进行评估计算。本文以抽取的主题词义项建立向量空间模型（VSM），并对所有待处理的候选主题句子建立对