互联网舆情监控分析系统的研究与实现-软件工程专业论文.docxVIP

万方数据 万方数据 分类号 密级 UDC 注 1 学 位 论 文 互联网舆情监控分析系统的研究与实现 （题名和副题名） 刘德鹏 （作者姓名） 指导教师姓名 徐 谡 研究员 电子科技大学 成 都 许慧新 高 工 浙江省公安厅行技总部 杭 州 （职务、职称、学位、单位名称及地址） 申请专业学位级别 硕士 专业学位类别 工 程 硕 士 工程领域名称 软 件 工 程 提交论文日期 2011.03.25 论文答辩日期 2011. 04.30 学位授予单位和日期 电 子 科 技 大 学 答辩委员会主席 评阅人 年 月 日 注 1：注明《国际十进分类法 UDC》的类号 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论 文的规定，有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 摘要 摘 要 随着互联网的高速发展，网络给人们提供了前所未有的开放、便捷的信息共 享与发布平台，越来越多的人通过网络来表达自己的意见、想法、情绪和态度， 其中既包括对对事件的发展有着正面、积极作用的信息，也包括一些负面、消极 的信息。同时，网络平台的开放性、直接性和隐蔽性使得网络舆论越来越重要地 影响人们的意识形态。因此，对大量舆情信息的及时有效监控分析，对维护社会 稳定、促进国家发展具有重要的现实意义。 网络舆情监控系统与自然语言处理技术密切相关。受限于自然语言处理技术 水平，传统的网络舆情监控系统，主要为话题识别的相关内容，而对舆情的情感 因素关注较少。虽然也有学者对舆情情感意见信息挖掘进行了研究，但由于处理 结果与语料相关性较高，导致实用性不足。 近年来，随着自然语言处理研究的逐步深入，浅层语义分析开始崭露头角， 并在相关应用研究中体现出相对词性标注、句法分析更为智能实用的优势。浅层 语义分析是一种简化了的语义分析形式，它利用动词对句意理解的关键作用，以 动词为中心对句子意义的进行了形式化表示。语义角色标注作为一种浅层语义分 析，对句子中一些成分为给定动词谓词的语义角色进行了标注，具有分析任务定 义明确、便于评价等优点。 结合这种最新的自然语言处理技术，基于对现有舆情监控分析算法的对比分 析，我们设计并实现了一个网络舆情监控分析系统，创新性的提出了：（1）一种 新的结合 HowNet 中公开的计算词语语义相似性算法和基于字的倾向计算算法， 并对现有话题识别与追踪技术进行优化整合；（2）通过对大量样本的统计分析， 得到倾向性语言表现形态规律，具体表现为角色-特征性概率表和角色-情感性概 率表，为后续分析提供客观数据基础。 本文包括的主要内容有： （1）舆情监控分析系统框架设计与模块设计。根据网络舆情信息的特点，提 出系统总体框架，并对信息预处理模块、信息挖掘模块和信息服务模块进行了设 计。 （2）舆情热点话题识别技术研究。对网络中一段时间内大量出现的某个新闻 I 摘要 主体进行提取追踪，通过对 ICTCLAS 分词技术、文档频率特征抽取方法、TFIDF 权重计算以及 K 均值聚类算法的有效整合，实现热点话题识别与追踪。 （3）舆情信息浅层语义分析研究。主要利用语义角色标注工具，通过训练测 试，对文本语义层角色进行标注。 （4）舆情信息倾向分析研究。实现文本中意见、情感等信息的提取，主要包 括情感词库建设、特征库建设、情感倾向计算算法研究以及语料知识发现等。 本文所涉工作在国内相关事件和分析中得到应用，可有效辅助舆情监控并减 少人为干预，必将在未来的网络信息管理中发挥积极的效益。 关键词：网络舆情；监控分析；热点识别；文本倾向分析；语义角色标注 II Abatract Abstract Along with the rapid development of the Internet, network provides people with unprecedentedly open, convenient platform for information sharing and releasing.