一种分布式Twitter数据处理方案及应用.pdf

第32卷第7期 计算机应用研究 V01．32No．7 2015年7月 Researchof Jul．2015 Application Computers 一种分布式Twitter数据处理方案及应用 张振华1一，吴开超2 (1．中国科学院大学，北京100049；2．中国科学院计算机网络信息中心，北京100190) 摘要：针对社交媒体数据的特点及其分析的挑战性，提出了一种基于实时计算框架Storm、批处理框架Hadoop 式数据的流感疫情可视化分析系统。实验证明，该分布式方案能较好支持Twitter流式数据的高效处理和储存， 使之满足系统的性能需求。 关键词：社交媒体；分布式处理框架；Twitter流式数据；流感疫情侦测；分布式计算 中图分类号：TP311 文献标志码：A 文章编号：1001．3695(2015)07—2073—05 doi：10，3969／j．issn．1001-3695，2015．07．038 DistributedmethodforTwitterdata its and processingapplications Kaicha02 Zhenhual一，Wu Zhang Network Center，Chinese (1．UniversityofChineseAcademyofSciences，Beijing100049，China；2．ComputerInformation AcademyofSciences， Beijing100190，China) tosocialmediadatafeaturesand ofassociated adistributedSO— Abstract：According challenges analysis，thispaperproposed cial data methodbasedon frameworkand media real—time framework processing computing Storm，batchprocessing Hadoop scalable database avisual forflu detection high—performanceNoSQL MongoDB，andimplementedanalyticalsystem epidemic with basedonTwitter data．It distributedmethodcan andstoreTwitter data streamingprovedthat，this process steaming high makeitmeet performance，andsystemperformancerequirements． words：social