审计机关网络舆情监测系统的设计与实现软件工程专业论文.docxVIP

审计机关网络舆情监测系统的设计与实现摘 审计机关网络舆情监测系统的设计与实现 摘 要 网络舆情是社会舆情在互联网空间的映射，具备信息传播、宣传导向、危机 预警、舆论监督、惩治腐败等功能。为加强审计舆情监测技术实力，提升舆情研 判综合能力，为互联网环境下创新审计监管模式、及时掌握重要领导相关报道、 了解与审计相关的民情民意提供有力的技术支持，开发了审计机关网络舆情监测 系统。 该系统包括互联网多源信息采集、审计互联网信息归档和整理、审计网络舆 情实时监测、审计网络舆情分析与预警、审计网络舆情专题监测、舆情处置、系 统管理等模块，需要实现互联网审计数据采集、Web页面数据提取、数据统计与 分析、数据处理等功能。用户提供所关注网站与关键词，通过对关注网站及搜索 引擎的数据进行过滤、抓取、词频统计等手段对信息进行预处理，并将预处理得 到后的结果存入数据库中，通过对数据进行分析，最终得到特定时期内互联网上 所出现的审计热点信息，并对其进行追踪，得到事件的详细信息。 本文在研究系统需求的基础上，从总体上和各子模块层面上对系统进行了详 细的设计，并阐述了系统开发中的两个关键技术。一是利用爬虫程序采集互联网 多源数据的方法：为达到既关注重点网站，又尽量不遗漏重要信息的原则，本系 统采用直接采集与间接采集相结合的方式进行数据采集。二是网页正文信息的抽 取方法：首先是将网页规范化，形成格式良好的网页文件，通过DIV标签树技术 初步提取网页信息节点，使用网页正则表达式去除这些节点中不需要的网页标签， 得到较干净的文本块，最后使用统计学原理对文本块进行匹配筛选合并，最终得 到干净的中文网页正文信息。 本系统目前已在审计机关试点使用，并取得了较好的效果。 关键词：舆情监测；审计；多源信息采集；网页正文抽取； II 万方数据 工程硕士学位论文Abstract 工程硕士学位论文 Abstract Public opinions on Internet are the mapping of the public opinion in the Internet space，with the functions of disseminating information，conducting publicity，warning of crisis，the supervision by public opinion and punishing corruption．In order to strengthen the technical ability of monitoring public opinion about audit，enhance the overall capacity for judging public opinion，provide strong technical support for new mode of audit，innovate supervision under the Internet environment to grasp the important leadership related reports，understand audit related public opinion，the network public opinion monitoring audit system has been developed． The system includes several parts：collecting information from the Internet． monitoring public opinion about audit，analyzing the public opinion and early warning， monitoring public opinion about special topic，disposing public opinion，and system management．It needs to achieve Internet audit data collection，web page data extraction，data statistics and analysis，data processing and other functions．Users are concerned with websites and key words．Datum collected from the websites and search engines are preprocessed by means of filtering，crawling and word fre