基于半监督学习的微博情感分析方法研究-计算机应用专业论文.docxVIP

中图分类号：TP 密级：公 开 学科分类号：520.60 论文编号 ：JK2011081203001 硕 士 学 位 论 文 基于半监督学习的微博情感分析方法研究 作 者 姓 名： 朱晓光 申请学位级别：工学硕士 指导教师姓名： 聂培尧、林培光 职 称：教 授、副教授 学 科 专 业： 计算机应用 研 究 方 向：智能信息处理 学 习 时 间： 自 2011 年 9 月 1 日 起至 2014 年 6 月 30 日 止 学位授予单位： 山东财经大学 学位授予日期： 2014 年 6 月 山东财经大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得山东财经大学或其它教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 学位论文作者签名： 日期： 年 月 日 山东财经大学学位论文使用授权声明 本人完全同意山东财经大学有权使用本学位论文（包括但不限于其印刷版和 电子版），使用方式包括但不限于：保留学位论文，按规定向国家有关部门（机 构）送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被查 阅、借阅和复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用 影印、缩印或其他复制手段保存学位论文。 保密学位论文在解密后的使用授权同上。 学位论文作者签名： 日期： 年 月 日 指导教师签名： 日期： 年 月 日 山东财 山东财经大学硕士学位论文 Abst Abstract I I II II 摘 要 微博的快速发展使其平台积累了大量的文本，其中蕴含着大量的有价值的信息， 包括商业信息、社交网络和用户观点与情感等。微博的短文本特征使其文本分析具有 一定挑战性，并且中文文本固有的特征使得文本分析性能下降。针对上述特征，本文 应用半监督学习对微博文本进行情感分类：结合语言资源和标注集合对文本情感分类 器进行训练和优化。情感分类包括两个任务：识别情感的极性，如正性、负性；识别 情感类别：如高兴、愤怒。本文主要工作如下： 1）微博信息抽取。应用微博运营商提供的 API，对微博信息进行采集，以热门 话题和认证用户为入口，采集话题相关的微博和用户微博及其评论文本。 2）半监督学习。结合已有的标注集，运用主动学习标注微博文本的情感极性和 类别，以减少标注成本。应用标注数据集于监督学习中，包括最大熵、神经网络和支 持向量机模型，对不同监督学习模型进行优化，分析其误差和学习曲线。 3）特征抽取。使用已有语言资源和开源软件，如情感词汇本体和同义词词林进 行特征抽取，基本特征包括文本所固有的词项、词性和词林编码等。此外，鉴于文本 特征空间维度较大，采用 PCA 对特征空间进行降维。在模型优化过程中，对比了不 同特征空间组合和模型的准确度。 部分的特征抽取过程，如自然语言处理、以及微博信息处理运行在分布式计算框 架上，以提高算法的运行效率。情感极性分析的准确率达到 0.7，具有一定的应用价 值。而多类别情感分析准确度相对较低，为 0.34：由于标注语料不充分和文本情感表 达的复杂性，频率较高的类别，如喜欢、厌恶，分类效果较好，而惊奇、恐惧等分类 效果不佳。 情感分析结果可作用于舆情监测、市场调研和社会计算等方面，具有一定的商业 价值。在其分析的基础上，可结合在线网络的结构和时序进行信息传播和受众分析， 获得用户的行为模式和规律。结合用户特征，可进一步获得用户在发布信息等行为时 的真实情感与心理状态，称之为情感计算，也是情感分析的最终目的。 关键词：微博 情感分析 机器学习 分布式计算 语料库标注 Abstract The rapid development of Microblog lead to the accumulation of enormous text information inner the platform. Those informations are valuable and contains opinion and sentiment of users, commerce information and social network. The short text feature of Microblog challenges the text analysis, and decreases the accuracy of text sentiment analysis, since the Chinese text contains several adverse inherent c