分布式海量数据处理平台设计与实现(20200704201823).docxVIP

分布式海量数据处理平台设计与实现 摘 要：为了提高电力行业网络各类监控设备告警信 息和告警事件的处理速度，本文设计了由中心控制节点、计 算节点、配置服务节点等构成的海量数据处理平台。通过中 心控制节点实现任务的分解与控制，计算节点实现任务计 算。使用基于文件格式的方式进行数据采集，利用 Map/Reduce 的模型进行数据汇总。 采用本平台能够实现对海 量告警信息的捕获和处理，保证告警分析的效率。 关键词：海量告警；分布式；数据处理 中图分类号： TP311 文献标识码： A 文章编号： 1673-1069（2016）35-175-2 0 引言 随着当今世界互联网的迅猛发展，电力行业也开始运用