基于大数据的井喷式状态监测数据实时处理研究.PDFVIP

ELECTRIC POWER ICT 中图分类号：TM76　文献标志码：B　文章编号：2095-641X(2017)03-0049-06　DOI：10.16543/j.2095-641x.electric.power.ict.2017.03.009 基于大数据的井喷式状态监测数据 实时处理研究 吴秋莉，郭丽娟，吕泽承，张炜 （广西电网有限责任公司 电力科学研究院，广西 南宁 530023 ） 摘要：针对快速增长的井喷式状态监测数据，文章提出一种大数据分析方法。介绍了目前大数据流 式数据实时分析技术和实时批处理技术，在 Hadoop 框架下结合状态监测系统的数据特点建立基于 Kafka+Storm+Spark+Hadoop 的实时分析架构，该分析架构能保证所有的监测数据及流数据都能被 及时有效处理，防止数据接入速率不匹配造成的数据丢失，将处理后的状态监测数据保存到分布式文 件系统或实时数据库中并深度分析，实现了海量井喷状态监测数据快速、有效的分析处理。 关键词：井喷式数据；Hadoop 框架；大数据；实时处理框架 南 方 电 网 0　引言 方面研究。在状态监测系统达到一定规模后，状态 科 监测数据呈现出持续性、大规模等特点，文献 [1-2] 技 随着现代信息化与智能化的快速发展，电力设 成 备状态监测的类型日渐趋多，为电力设备实现状态 将状态监测数据视为流式数据，并提出了基于流的 果 实时处理框架。文献 [3] 对流数据处理特性进行描 检修奠定基础。监测数据的不断增长，有时甚至呈 述并总结当前主流技术和发展趋势。文献 [4-6] 描 井喷式增长的现状对监测系统的数据处理及分析功 述了电力自动化系统中如何应用基于流的数据处理 能提出了新的挑战，大数据应运而生。 技术。文献 [7] 中提出的聚类划分技术属于离线分 目前，基于大数据的分析及处理技术成为时代 析，不适合实时在线分析，文献 [8] 采用实时数据库 新宠，并在各行业试点应用。其中，应用较为成功的 提高微网运行监控系统实时性的方案，系统规模受 是商业互联网领域。而大数据在电力系统中的应用 实时数据库性能限制。文献 [9] 在分布式并行处理 尤其是状态监测领域还处于探索阶段，对数据的质 框架Hadoop 中构建数据挖掘算法，利用集群的并行 量和数据处理的效率等诸多方面有更高的要求，因 计算提高计算效率。 此在电商、金融等商业互联网领域广泛使用的大数 Hadoop 是基于分布式文件系统（Hadoop 据分析技术难以在系统安全稳定方面及