基于Storm的海量数据实时聚类研究.pdfVIP

JournalofComputerApplications ISSN 10O1．9081 2014—1110 计算机应用，2014，34(11)：3078—3081， C0DEN JYIIDU http：／／www．joca．cn 文章编号 ：1001．9081(2014)11—3078．04 doi：10．11772／j．issn．1001—9081．2014．11．3078 基于 Storm 的海量数据实时聚类 王铭坤 ，袁少光，朱永利，王德文 (华北电力大学(保定)控制与计算机工程学院，河北 保定071003) (}通信作者电子邮箱 1050638288@qq．corn) 摘 要：针对现有平台处理海量数据实时响应能力普遍较差的问题 ，引入Storm分布式实时计算平台进行大规模 数据的聚类分析，设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输 出等 阶段 ，在框架预定义的组件中分别编程实现，各组件通过数据流连通形成任务实体，提交到集群运行完成。通过对比 分析和性能监测，验证了所提方案具有低延迟和高吞吐量的优势，集群运行状况 良好，负载均衡。实验结果表明Storm 平台处理海量数据实时性较 高，能够胜任大数据背景下的数据挖掘任务。 关键词：Stomr；海量数据；聚类；实时分析 中图分类号：TP316．4；TP311．1 文献标志码：A Real-timeclusteringformassivedatausingStorm WANG Mingkun’，YUAN Shaoguang，ZHU Yongli，WANG Dewen (SchoolofControlandComputerEngineering，NorthChinaElectricPowerUniversity,BaodingHebei071003，China) Abstract：In orderto improve the real—timeresponseabilityofmassivedataprocessing，Stomr distributed real—time platfomr was introduced to process data mining，and the Density—Based SpatialClustering of Application with Noise (DBSCAN)clusteringalgorithmbasedonStomr wasdesignedtodealwithmassivedata．Thealgorithmwasdividedintothree mainsteps：data collection， clustering analysis and resultoutput．Allprocedureswere realized underthe pre—defined componentofStomr and submitted to the Stomr cluster forexecution．Through comparative analysis and performance monitoring，thesystem showstheadvantagesoflow latencyandhighthroughputcapacity．ItprovesthatStomr suitsofrreal— timeprocessingofmassivedata． Keywords：Stomr ；massivedata；clustering；real—timeanalysis 不 同应用场景的大数据处理平 台相继出现 。大数据的处理可 0 引言