城市新闻网络舆情监测分析系统设计与实现-软件工程专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□， 在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 摘 要 随着互联网的普及应用，网络舆情信息管理在城市管理中变得越来越重要。一 个城市的网络舆情往往会在城市新闻报道中得到体现，因此，需要对网络新闻报道 信息进行动态采集和分析。以人工检索和浏览网络新闻的方式已经变得越来越低效， 一方面获取舆情信息的范围有限、速度慢，另一方面获取的舆情信息的质量也难以 得到保证。因此，快速地自动获取城市网络新闻舆情，并能对这些信息进行分析， 已经成为当前城市舆情研究中的热点问题。 本文重点研究了网络爬虫技术和 CEPR 正文抽取算法等在舆情信息获技术，以 及关键词和摘要提取、敏感度计算、地理分析、文本分类和情感倾向性计算等舆情 信息文本处理和分析技术。在此基础上，设计并实现了网络舆情信息采集和分析的 实验系统。 在系统设计和实现方面，本文在借鉴现有的优秀的舆情监测系统基础上，结合 城市新闻舆情管理的实际需求，根据城市新闻网络舆情系统业务流程，首先对城市 新闻网络舆情系统的需求进行分析，在此基础设计了系统总体方案，给出了系统的 详细设计和实现。根据新闻网页的特点，本文重点分析和实现了新闻网页爬虫，解 决了新闻的增量获取、新闻的多页合并和正文抽取问题。基于数据挖掘工具 WEKA 的基础上，对舆情分析子系统进行了分析和设计。 关键词：网络舆情 文本分类 情感计算 WEKA CEPR 网络爬虫 Abstract With the popularization of the Internet, the network of public opinion information management is becoming increasingly important in urban management. A city network public opinion tends to be reflected in the city news reports, therefore, the need for dynamic network news information collection and analysis. Artificial search and browse the network news has become increasingly inefficient way, get public opinion on the one hand the limited range of information, slow, the quality of public opinion, on the other hand to obtain the information it is difficult to be guaranteed. Therefore, quickly and automatically get the city network news public opinion, and to analyze the information, public opinion research has become a hot issue in the city. This article focuses on the Web crawler technology and CEPR text information extraction algorithms in public opinion is eligible technologies, as well as keywords and summary extraction, sensitivity calculations, geographic analysis, text classification and emotiona