一种分布式的舆情分析系统架构.pdfVIP

研究与开发 一 种分布式的舆情分析系统架构 黄宇鹏 ’，袁 畅’。郝志峰 ’。蔡瑞初 ’。肖晓军 ，卢 字 (1．广东工业大学计算机学院 广州 510006；2．广州优亿信息科技有限公司 广州 510630) 摘 要：随着互联 网数据 的快速增长 ，针对如何对互联 网数据进行有效的收集和分析 ．提 出一．种基于分布式平 台的系统架构 。该架构包括爬虫模块、Web模块 以及分布式平 台三大模块 ，其 中爬虫模块负责数据 的收集 ， Web模块负责简单任务 的处理以及分析结果的可视化展示 ，分布式平 台提供数据 的存储 以及复杂任务的计算 功能，3个模块 的结合为网络上海量数据 的爬取、存储与分析提供 了一个很好 的解决方案 。最后 ，针对社交网 站新浪微博的应用案例验证 了该分布式舆情分析系统架构的可用性 。 关键词 ：分布式系统架构 ；舆情分析 ；爬虫；可视化 doi：10．39696．issn．1000—0801．2013．07．013 A DistributedPublicOpinionAnalysisSystem Architecture HuangYupeng，YuanChang，HaoZhifeng，CaiRuichu，XiaoXiaojun，LuYu (1．SchoolofComputers，GuangdongUniversityofTechnology，Guangzhou510006，China； 2．GuangzhouUseeaseInformationTechnologyCo．，Ltd．，Guangzhou510630，China) Abstract：With therapid growthofinternetdata，system architecturebasedon distributedplatfomr to effectively crawlwasproposedandthe datawasanalyzed．Therachitecture consistsofthreemodules，crawlermodule，Web moduleand distributedplatfomr module．Amongthem，thecrawlermodule isresponsiblefordatacollection，Web moduleprocessesthesimplejobandgivesavisualdisplayfortheanalysisresult，andthedistributedplatfomr moduleisofrdatastorageandcomplicatedjobcomputing．Thecombinationofthreemodulesprovidesanexcellent solutionofrmassdatacollection，storageand analysisontheinternet．Th eeffectivenessoftheproposedframework wasverifiedinthedevelopmentofapublicopinionminingsystem． Keywords：distributedsystem architecture，publicopinionanalysis，crawler，visualization 例如，对于电信企业来说，客户的社交网络分析 (SNA)是 1 引言 非常有价值的，通过测算识别客户与客户之间关系所形成 随着互联网用户数量的快速增长，网络越来越成为人们 的圈子以及圈子中各客户角色的判定(领袖者是谁，追随 获取与发布信息的主要渠道】I【，特别是社交网络(如Twitter、 者是谁)，形成企业对各个客户影响力和价值的判断，在此 Facebook、微博等)的出现．使得人们获取和发布信息更加 基础上，利用对这些圈子、角色和影响力的认识，帮助企业 快速和方便。与此同时，网络上也产生大