基于Java实现网络舆情研究系统探究及实现.docVIP

基于Java实现网络舆情研究系统探究及实现 摘要:通过对各大门户网站、论坛和贴吧的留言和评论的爬取，录入后台数据库。用户可根据主题、内容进行搜索查看。通过利用中科院分词算法进行实现对爬去下来的内容进行分词处理，分词处理后的结果利用自行研究出来的基于权值算法实现的中文情感分析进行评论的倾向性分析，通过对句子结构和主张词以及情感副词的判断来对评论的情感倾向性做出有效地判断，通过情感权值计算后可给出评论的倾向性以供用户查阅和进行其他相关工作。 关键词:舆情分析；中科院中文分词算法；权值算法；情感倾向性；中文情感分析 中图分类号：TP393.09文献标识码：A文章编号：1007-9599 (2012) 06-0000-02 现代网络社会纷繁复杂，通过各大网站，例如：百度贴吧、天涯论坛等等一些地方可以看到网民对于各种新闻时事的评论和意见。所以网络中的评论内容是对于抓住民众舆情倾向的一个宝贵财富。民众舆情是人民群众通过表达自己的意见而可以预见未来事务的发展走向。因此，能够抓住并分析民众舆情，是可以为解决和分析更多未知社会事件奠定了基础。 通常情况下，在某个事件发生之后，网民们会通过各种途径了解事情的来龙去脉，一个短短的贴吧帖子，往往会引来数以千计的留言和评论。在现代信息传递水平高度发达的年代，网络评论内容的情感倾向性：支持、反对或者中立，就能够体现我国民众绝大部份比例的态度。总而言之，人民群众在网络发表的意见往往是对事件的后续发展与走向起到相当重要的作用，所以能够提取民众意见和分析民众意见来的尤为重用。 因此，选择爬取网民经常访问的网站是一个非常有效的获取民众舆论的方法。针对百度贴吧、天涯论坛、猫扑论坛的评论爬取是获取主流民众热议事件及其评论的有力之道。而通过分词水平较为准确的中科院分词方法，能够首先对爬取下来的评论进行预处理。再经过中文情感分析的处理之后生成统计数据，为需要舆情分析的客户提供有效把握民众舆论走向的信息。 一、舆情搜索系统设计 （一）系统用例设计 当客户通过登录此舆情分析与监测系统时，可以拥有通过搜索查阅帖子的权力和生成情感倾向程度图表的权力。因此，本系统主要实现功能即为：（1）搜索查阅帖子。（2）生成情感倾向程度图表。而管理员角色的设置是为了调整搜索内容以及管理客户信息。因为此系统为较敏感的管理工具，因此不能预设客户注册功能而只能通过管理员后台分配用户名和密码信息于客户手中，为了保证信息安全性和系统可靠性。 （二）系统功能模块设计 本系统主要实现三个功能：内容爬取、帖子搜索和中文情感倾向性分析，而中文分词部分使用流行且准确性高的中科院中文分词算法，故此功能不再赘述。由于是大体功能已知的系统设计，故选择增量式模型进行系统设计和开发，在完成主要核心功能的同时为将来可能增加的功能留有空间和接口，以方便维护和升级。 1.内容爬取模块设计 内容爬取模块顾名思义，系统自动对。话题的爬取采用Java开源组件和相关API实现的本地爬虫，情感分析方面使用基于情感词典的分析方法，并对特殊句式和特殊词汇进行处理。采用Struts2+Hibernate框架集成整个系统。 当模拟浏览器请求贴吧分类首页显示时，可抽取出贴吧主页链接信息，将贴吧主页链接信息和贴吧名可以顺序存入后台数据库中。然后，将此信息转入贴吧待处理队列中，可进行请求贴吧主页的要求并抽取帖子链接及下一页的链接。通过获得所需要的链接信息可轻松与互联网链接并抽取所需要的信息，继而得到：帖子正文信息、帖子回帖内容、帖子回帖数量以及可能的翻页链接信息。将抓取的有用信息顺序存入后台数据库中，那么第一步的帖子正文和评论内容爬取工作可告一段落。 2.搜索模块设计 搜索模块的功能设计是为用户服务的，所以功能的设计需要为用户服务。用户通过标题检索，输入的关键词通过中科院中文分词处理后进入到数据库的标题倒排索引表匹配，返回到前台处理并返回相应的标题ID。因为在先前步骤中已经完成了主题信息及评论内容的抓取功能，所以主要信息已入后台数据库中。当查询成功时，返回词ID，并将主题内容和评论信息显示在用户界面上；当查询不到主题时，返回失败信息。 搜索功能的实现主要利用了倒排索引过程实现。倒排索引是利用了现实中需要根据属性值来查找记录的要求设计。这种索引表中的每一项都包括一个属性值和具有该属性值的其地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。 3.中文情感分析设计 中文情感分析通过对评论内容的预处理，即利用中科院分词算法分词之后，与已存在的中文情感词典匹配，利用预先设定好的权值计算、叠加可计算出中文情感的倾向值 ， （ ）(1)