互联网舆情信息采集研究系统关键技术分析-软件工程专业论文.docxVIP

目录第一章 绪论11.1 课题背景和意义 11.2 研究目标及开发内容 21.3 全文安排 2 第二章 文献及技术综述4 2.1 互联网舆情 42.1.1 互联网舆情与舆论42.1.2 互联网舆情特点52.1.3 互联网舆情监测相关的关键性技术62.2 垂直搜索 72.2.4 垂直搜索概念72.2.5 搜索引擎的分类82.2.6 垂直搜索研究概况92.3 网页过滤 102.4 信息抽取 11 第三章 舆情系统的分析与概要设计12 3.1 系统设计的目标 123.2 系统需求分析 133.3 系统概要设计 153.3.1 系统业务流程与系统功能模块框图153.3.2 数据库设计16 第四章 系统功能设计与实现204.1 舆情采集功能模块的设计与实现 204.1.1 垂直搜索爬虫的工作流程204.1.2 垂直搜索爬虫的搜索策略的设计204.1.3 网页过滤器算法设计214.1.4 新闻及论坛网络拓扑结构的设计214.1.5 网络爬虫的具体实现234.1.6 信息抽取程序的设计与实现264.1.7 信息抽取模板的设计264.1.8 信息抽取程序的实现274.2 舆情检索功能模块的设计与实现 304.2.1 舆情检索模块主要功能的设计304.2.2 舆情检索功能模块的实现304.3 舆情智能分析模块的实现 324.3.1 舆情主题分析算法设计324.3.2 舆情智能分析的实现334.4 舆情预警模块的实现 344.5 舆情研判与报告模块的关键功能的设计与实现 354.5.1 报告功能模块的设计354.5.2 报告功能模块的实现36第五章 结论与展望395.1 结论 395.2 展望 40参考文献41发表论文和科研情况说明44致谢45第一章 绪论1.1 课题背景和意义舆情，亦称为群情、民情，是“社会舆论情况”的简称，是指在一定的社会 空间内，围绕一些中介性社会事件的发生、发展和变化，作为主体的民众对作为 客体的社会管理者及其政治取向产生和持有的社会政治态度[1]。它是较多群众关 于社会中各种现象、问题所表达的信念、态度、意见和情绪等等表现的总和。互联网舆情，也称之为网络舆情，它是由于各种事件的刺激而产生的通过 Internet传播的人们对于该事件的所有认知、态度、情感和行为倾向的集合[2]。它 是社会舆情在Internet空间的映射，是社会舆情在Internet的直接反映。在Web2.0 时代到来以前，传统的社会舆情存在于民间、大众的思想观念和日常的街头巷尾 的议论之中，舆情的采集和分析只能通过明察暗访、民意调查等方式进行，获取 成本很高，获取效率低下，样本少而且容易流于偏颇[3]。而随着Internet的发展， Web2.0 时代的到来，论坛、博客、微博、播客、Facebook、Twitter和WIKI等使 大众已经丛 1.0 时代的信息接收者逐渐成为信息的创作者，社会舆情由民间的口 口相传转向了网络舞台，而互联网舆情可以采用网络自动抓取等技术手段方便获 取并通过垂直搜索等信息技术进行分析，不但效率高而且信息保真（没有人为加 工），覆盖面全[4]。互联网舆情事件发生的范围广，传播的速度快，不受时间和空间的限制，易 对社会的稳定和网民态度产生重大的影响，互联网信息内容丰富多样，既有海量 进步、健康、有益的信息，也有不少反动、邪教、迷信、淫秽色情的内容[5]。Internet 作为一块正在加速膨胀的思想阵地，加上其发散性、隐蔽性、虚拟性、渗透性和 随意性等特点[6-8]，越来越多的人们愿意通过论坛、博客、微博、播客、Facebook、 Twitter和WIKI等表达自己的个人想法，因此网络舆情的爆发将以“内容威胁” 的形式逐渐对社会公共安全形成威胁[9,10]。因此非常有必要及时采集并分析事件 或话题的发展趋势。天津市是由于特殊的历史和地理位置，在国家经济战略格局中占有举足轻重 的地位，尤其是天津滨海新区在新时期实现了跨越式的发展，其中信息产业的发 展占有关键性的历史作用；随着信息产业的发展，天津的网民和网站总数保持飞 速增长。在建设和谐社会的背景下，滨海新区如何适应互联网信息迅猛发展的需要，通过一套稳定的可延续的系统更及时、准确、全面的掌握和分析网上涉滨舆情，加强对 网上舆论引导的有效性是非常必要。1.2 研究目标及开发内容当舆情产生聚集时就可以向舆论转化，因此建设互联网舆情信息采集分析系 统，目标就是通过及时、准确、全面搜索网上涉滨的敏感信息、涉滨重大突发事 件的信息、涉及新区重大负面新闻的相关信息、重大突发性群体性事件以及能够 查看境外对涉滨重大事件（政策）的相关评论和报道等，通过对采集的信息进行 加工、智能分析、信息提取等处理，并供决策层及时制定有效的应对措施