基于Windows Azure云计算舆情监控系统服务器模块设计与实现.docVIP

基于Windows Azure云计算舆情监控系统服务器模块设计与实现 　　摘要：在网络爬虫和关键字搜索的基础上，利用C#开发数据管理和收集服务,结合云服务思想，将服务器部署于Windows Azure，利用云计算方式，提高服务器运行效率和数据采集与筛选效率。 　　关键词：舆情监控；云服务；网络爬虫 　　中图分类号：TP319文献标识码：A文章编号：1672??7800（2014）007??0069??03 　　 　　0引言 　　当前我国网民数量迅猛增长,互联网规模跃居世界第一。网络信息传播呈爆炸式发展,传播速度快,传播范围广。舆情监控不仅仅是为了剔除其中恶意散布的信息,也是掌握民意的一种重要渠道。换句话说,采用技术手段在大范围内进行民意调查,了解民众关注的焦点,深入探索民众对焦点问题的看法。 　　目前,对舆情进行研究的机构主要集中在社科院、中科院以及高等院校,如天津市社科院舆情研究所、北京交通大学网络舆情安全研究中心、新传媒网络舆情技术实验室、北京理工大学网络与分布式计算实验室、华中科技大学舆情信息研究中心、中国传媒大学网络舆情研究所、中科院软件中心等。此外，还有北京拓尔思(TRS)信息技术股份有限公司、北大方正智思软件公司等。这些机构基于电子信息技术理论支持,开发出了舆情监控系统。目前，我国舆情监控才刚刚起步,它是伴随着国内互联网的快速发展而产生的。最早提出舆情监控系统理论模型的是北大李晓明教授,他提出的模型包括样本空间选取、主题特征提取、目标参量设置、网页收集、数据处理等模块。此后,舆情监控系统逐渐成熟和完善。 　　1系统功能需求 　　本系统主要有3个方面的需求,如图1所示。 　　1.1数据采集 　　数据?集是对网络监控内容的搜集整理,一般通过网络爬虫?集指定网址上的内容,并按照某种格式(如html、xml)进行保存。同时,根据一定的规则将文章、版块、栏目等保存到不同的文件夹中,方便查找和使用。 　　图1系统需求 　　1.2数据整理 　　数据整理主要是对数据进行索引,索引后的数据按照某种方式存放,为快速查找打下基础。 　　1.3数据使用 　　数据使用包括舆情热点、舆情预警、热点追踪、全文追踪和模糊查找等5个方面，是本系统要解决的关键问题,具体如下： 　　(1)舆情热点。从所采集的数据中提取最热门的话题,并将排名最靠前的话题一一列举出来。通过此功能,能够快速掌握当前的舆论热点。 　　(2)舆情预警。对敏感词汇进行重点关注、审查。自动在相关资料中进行排查,一旦发现敏感词汇,马上进行提示,提醒使用者立即关注。 　　(3)热点追踪。使用者对某一热点话题进行追踪,如某一时期“钓鱼岛”是一个热点话题,那么通过热点追踪功能,可将有关“钓鱼岛”的全部信息检索出来,对这些信息进行浏览,掌握民众对当前热点问题的看法。 　　(4)全文追踪。热点追踪功能仅就某一个话题进行追踪,追踪结果围绕话题展开,包含消极和积极的信息,正面和负面的观点。如果就某个话题的某种具体观点进行追踪,就需要使用全文追踪功能。指定一篇具体文章,系统可自动分析文章的主要内容,然后在全部资料中进行查找,搜索出与此文章类似的信息,如果指定文章的态度是负面的,那么查找出的信息中绝大多数都是负面信息；如果指定文章的态度是正面的,那么查找出的信息中绝大多数都是正面信息。无疑可进一步节省信息审查工作量。 　　(5)模糊查找。模糊查找是一种智能查找方式,可以检索包含敏感词的词条,自动按照所输入敏感词的同义词进行检索。 　　2系统架构设计 　　2.1系统总体架构 　　本系统主要由数据采集模块、数据索引模块和数据分析模块3个模块组成。数据采集模块主要分析URL下载资源数据；数据索引模块主要将数据采集模块?集到的数据进行索引；数据分析模块利用索引数据库,对数据进行分析并将结果返回给用户应用接口。用户应用接口提供用户输入指令,并将结果在用户界面显示。系统所使用的数据库为采集资料数据库和索引数据库，这两个数据库中的数据,都按照指定的格式进行存放,以方便管理。同时，能够快速检索数据。 　　2.2数据转换过程 　　系统数据转换过程如图2所示。 　　首先，对网络中的有关信息资源通过采集模块进行采集并保存成html或xml文件,通过索引模块将采集的数据进行索引,保存为分词数据的格式文件；其次,检索模块对索引数据进行检索,生成检索结果中间文件,对其进行解析后,保存为xml文件或特定的内存格式数据；最后,将检索结果显示在用户界面上。 　　图2数据架构 　　2.3系统部署结构 　　系统部署结构如图3所示。索引服务器和检索服务器是系统核心,与其紧密相连的是数据索引程序和数据检索程序,是系统的核心层。核心层外围为数据采集程序和客户端。 　　2.4系统功能