中文微博消息的情感分析研究.docxVIP

中文微博消息的情感分析研究 1 微博情感分析 微博是一个发布新信息和社交平台的新形式。用户注册微博服务后,可以关注名人、结交朋友,还能随意发表、回复及评论消息,来记录生活、分享心情、表达观点等。微博自问世以来,迅速吸引了大众的眼光,蓬勃发展。以国内的新浪微博(1)为例,截止到2011年4月底,用户数超过了1.4亿。微博正在从各个方面渗透并影响人们的生活,包括大量的信息传播、更快的信息发现、与世界的连接等。 微博消息数量大,更新快,吸引了一大批学者对其进行研究。针对微博的自然语言处理研究已成为当前一个新的研究热点和前沿课题,而情感分析就是其中一个热点话题。情感分析,也被称为观点挖掘、观点分析、主客观分析等。情感分析的目的是从文本中挖掘用户表达的观点以及情感极性。挖掘用户观点意义重大,既能吸引潜在用户,帮助用户做决策,又能得到产品反馈,还能对政治选举等重大事件进行预测。除此以外,情感分析的技术还有助于自然语言处理领域其他研究方面的发展,例如,自动文本摘要及问答系统等。目前已经有许多针对英文的(即新闻、博客、微博等)情感分析系统相继问世。在情感分析方面,主要使用的技术分两大类:一类是采用情感词典与规则相结合的方法,根据文本中所包含的正向情感词和负向情感词的个数来进行情感分类;另一类是采用机器学习的方法,选择文本中的一些特征,标注训练集和测试集,使用朴素贝叶斯(Na6ve Bayes)、最大熵(Max Entropy)、支持向量机(Support Vector Machine)等分类器来进行情感分类。 微博作为一种新型的消息传递方式,写作简洁,与传统文本差异较大,主要表现在五个方面:(1)主题发散性。在传统文本中,文本所涉及的内容通常在同一主题下,主题较为集中,通篇会不断的提到主题词。但在微博中,主题较为发散。例如,这条微博“今天看了青蜂侠。我们后来还一起唱了KTV,真是开心的一天。”该微博中第一句的主题词是“青蜂侠”,第二句涉及的内容与“青蜂侠”无关。这是主题发散的表现;(2)省略成分的(主谓宾)。在传统文本中,用户使用的语法较为规范,而在微博中经常会出现省略主语、宾语的现象,例如,“青蜂侠不错!真好看啊!”该微博的第二句省略了主语“青蜂侠”;(3)省略上下文的(上下文隐含在其他的微博信息或者交互的信息中)。在微博中一条微博如果是回复某一条微博的内容,由于是对话的形式,通常会省略掉主题。例如,一条微博是“凤姐真讨厌!”另一条回复该微博的微博是“确实如此。”这两条微博讨论的都是“凤姐”,但是第二条微博省略了“凤姐”相关的上下文;(4)口语化:在微博中用户经常会使用时下流行的热门词,口语化的词等,例如,“坑爹”,“神马”,“不咋地”等;(5)包含链接、表情符号及标签等信息。微博中用户经常分享网页链接,使用表情符号表征情感,也经常给文本打上标签,标签可以反映主题。由于上述差别,使得微博情感分析任务更为复杂,也使得传统文本的分析方法无法适用,例如,传统文本中通常将一段文本内容表达的情感视为针对同一主题,但是微博中可能是多主题,使用单一主题的情感分析技术可能会造成失误;同时微博中口语化的词较多,如果口语词表达了情感,而传统文本的分析方法无法识别这类情感,也会对情感分析造成影响。因此针对中文微博的情感分析方面的研究显得尤为迫切和重要。 在微博情感分析中,目前英文微博相关的研究已经有了一些进展,例如,针对英文微博自身包含的属性如表情符号,标签(hashtag)等作为特征对微博进行情感分类,而针对微博的主题发散性,也有学者从主题无关和主题相关两方面进行分析。但到目前为止,针对中文微博的研究仍处于起步阶段,而中文微博与英文微博有很大不同:英文微博限制用户的输入文本不超过140个字符,这通常是一个句子,包含7~10个英文单词,涉及的主题和情感相对一致;而中文微博限制用户的输入文本不超过140个中文字符,这可以包含多个句子,每个句子涉及的主题可能不同,表达情感也可能不同。例如,在如下微博中“今天看了青蜂侠,很一般。场面一般,剧情一般。不过杰伦还是那样帅。”这条微博前两句是对电影“青蜂侠”的负面评论,第三句是对青蜂侠的扮演者的正面评论,表达的主题和情感均不同。 本文主要研究中文微博的情感分析。由于此前相关研究并不多,我们在研究中借鉴了普通文本情感分析的方法。在普通文本的情感分析方面,主要有两类任务:主题无关的情感分析和主题相关的情感分析。主题无关的情感分析不需要考虑待分析文本的评价对象,给出一个情感极性即可;主题相关的情感分析需要考虑待分析文本的评价对象,给出待分析文本针对该评价对象的情感极性。受此启发,本文将从主题无关和主题相关两个方面抽取特征,并应用于基于层次策略的中文微博情感分析。本文通过从新浪微博开放平台提供的API(1)抓取一定规模的数据,对中