基于SVM网络聊天用户情感判断.docVIP

基于SVM网络聊天用户情感判断 　　摘 要：现今网络聊天机器人越来越盛行，但很少对用户进行情感判断，所以对用户情感分析是网络聊天机器人发展的一个趋势。目前文本情感分析的研究对象一般是语法较规范的文本，而对具有口语化特点的聊天文本的情感分析研究较少。为此，提出一种基于TF-IDF和SVM的文本情感分析方法，实现聊天用户的情感判断，试验结果表明该方法优于传统的基于语义来判断的方法。 　　关键词：网聊用户 SVM TF-IDF 情感判断 　　中图分类号：TP39 文献标识码：A 文章编号：1007-3973（2012）012-083-02 　　目前网络聊天机器人系统智能性较低，具有情感判断的人性化智能聊天机器人，是机器人发展的一个趋势。因此针对聊天用户的情感判断对聊天机器人的发展是很重要的。目前对于文本情感分类判断大体上分为以下两种：一是基于语义的方法，主要是根据构造的情感词典，通过相似度等方法计算一个句子中的情感倾向；另一是基于机器学习的方法，将情感分析问题看作是一个分类问题，标注好的训练集通过机器学习算法训练得到分类模型，用于以后的情感分类。 　　一般聊天文本往往较微博等更加口语化，不讲究语法规则，而且有时候虽然表达了情感但无情感词语出现，这时候用机器学习的方法明显要优于基于语义的方法。SVM是新兴的一种机器学习方法，其具有“利用最大间隔的思想降低分类器的VC维，实现结构风险最小化原则；利用Mereer核实现线性算法的非线性化”等特点，一般用于文本分类、手写识别、图像分类等。因此本文基于tf-idf和SVM来判断聊天用户情感。 　　1 基于SVM的情感判断 　　基于SVM的情感判断主要分为两个模块：一是学习模块，对含有的聊天记录情感分类进行手工标注，进行特征选择，然后利用这些特征建立分类器；另一是分类模块，对新聊天文档进行特征选择，然后利用分类器判断其情感。其中最重要的就是特征选择算法和分类算法。 　　1.1学习语料库的建立和情感标注 　　聊天用户文本除了短之外，在有无情感方面还有表1这样的特点。含有情感词，但是没有情感；不含有情感词的也有可能包含情感。对于不包含情感词语的句子很难判断情感，??是通过其他用户回复可以直接看出其情感。基于以上情况，学习语料库是从聊天记录中抽取的包含情感的对话，部分是从博文上抽取的。 　　然后对其进行手工情感标注，分为高兴、愤怒、讨厌、喜欢、吃惊、悲伤、无情感七类。 　　1.2n元语言模型 　　n元语言模型进行文本处理是自然语言处理中的常用的模型。对于一个字符串s=c1c2……cn-1cn，n元语言模型假设认为第n个字符出现的概率只与前（n-1）个字符有关，即 　　一般聊天文本往往偏向于口语，不太严格按照语法结构，因此把聊天文档简化成向量，n-gram比较适合。 　　n-gram的精度都比较高，2-gram不仅精度高而且不那么复杂，所以在这里采用2-gram。 　　1.3 基于if-idf的特征项权重表示 　　有时候某些词语不仅在部分文档中出现频率高，在所有的文档中出现大频率都高，像这样的词语就没有什么价值了。所以采用TF-IDF来修正词频型特征权重，将包含此特征的聊天文档数作为一个考虑因素，认为包含特征的文档数越多，特征的区分能力越差，使用如下的公式计算： 　　1.4 SVM 　　支持向量机在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。 　　学习过程：将手工标注的情感标签作为教师数据，生成能区分7类型（6情感+无情感）的分类器。输入是否是该组标注的情感，输出是2值分类器。 　　分类过程：为了分析新输入用户聊天文本的情感，首先按照获得学习数据方法，选择特征向量。然后利用分类器判定是否是属于该种情感，依次判断七次。 　　2 实验 　　2.1实验方法 　　从与小i聊天机器人的记录中抽取100句，包含表1中的四种类型。首先进行特征选择，然后用分类器进行分析其情感。考虑到情感的判断有人为因素存在，所以我们将分类器判断结果与5人的判断结果相比较，如果和三人或三人以上判断结果一致就算正确，少于三人认为判断错误。 　　2.2 实验结果及其分析 　　本文采用了准确率的评价标准来评价，准确率达68.53%。 　　从结果来看不是很好，但是表明基于SVM的方法是可行的。这和学习语料库规模太小、范围太窄有关，另外聊天文本口语化，缺省值太多，造成可选择的特征向量太少，从而影响判断结果。 　　3 结语 　　对网络聊天机器人用户文本进行了情感分析，权重计算方法采用TF-IDF，分类算法采用SVM。通过实验发现基于机器学习（SVM）的方法对于聊天用户的情感分析都是有效的。虽然实验效果不太理想，但是如果进一步扩大语料库