基于Hadoop电网监控信息流分布式处理研究.pdfVIP

第30卷第5期 华 东 交 通 大 学 学 报 Vol.30 No.5 2013年10月 Journal of East China Jiaotong University Oct.，2013 文章编号：1005-0523 （2013）05-0037-05 基于Hadoop的电网监控信息流分布式处理研究 屈志坚，郭 亮，陈 阁 （华东交通大学电气工程学院，江西南昌330013） 摘要：针对智能电网调度系统中大数据集监控信息流存取困难问题，提出一种基于Hadoop云计算框架的分布式集群处理新 方法。通过分析电网监控系统中信息流特性，提取3类关键信息流；综合利用分布式文件系统HDFS和映射聚合模型Map/ Reduce，建立云集群分布式处理平台，实现监控信息的高效并行处理。以某配电网断面量测记录数据集为例进行测试，结果 表明：该方法处理效率相比传统客户/服务器数据库方法提高了约1.4倍，集群规模越大，效果越好，有效避免了大数据集信息 处理响应延迟问题。 关键词：智能电网；信息流；Hadoop云计算；映射聚合；并行处理 中图分类号：TP274 文献标志码：A ［1-5］ 智能电网是未来电网的发展方向，其与分布式电源、微电网等的互动调度 都依赖于双向、实时、集 成的通信系统。随着电网扩容和大量智能电气设备的接入，以数据应用为核心的电力调度监控系统［6-7］ 长 期运行将面临大数据集量测信息的存取瓶颈问题。而基于客户/服务器模式的传统开放式数据库存取调 用方法容易造成服务器信息量太大，查询效率低［8］。因此，高效的信息处理已成为制约电网自动化监控的 关键技术。 Hadoop是一种专为大数据集对象分析处理提出的分解/聚合云计算框架［9］。通过分布式文件系统 HDFS和并行编程模型Map/Reduce两大核心的协调管理，对大数据集进行有效分割和合理调度，以实现大 数据集高效并行处理。框架易部署于价格低廉的通用PC计算机设备上，具有高扩展性和高容错性等优 点。目前云计算技术在电信、电子商务和web网页搜索等领域的应用已展示出其在大数据集信息查询处 理问题的优势［10-13］，给工业应用系统信息存取方面的研究提供了新思路。 首先分析调度监控系统中关键信息流特性，然后构建Hadoop分布式集群平台。利用分布式文件系统 HDFS和并行计算模型Map/Reduce与监控信息存取应用相结合，建立起大数据集信息的分布式云处理平 台，实现大数据集监控信息的高效并行处理。实验证明该方法提高了信息处理效率，满足电网调度大数据 集监控信息的存取要求。 1 监控信息流和传统数据库调用模式 1.1 监控信息流 在电网监控系统中，通过FTU（feederterminalunit）、RTU（remoteterminalunit）和STU（signalterminal unit）采集电网高压侧和低压侧供电线路的各类实时数据，利用远程通信接口，传输至调度监控主站，实现 数据处理以及监视控制功能，其总体功能流程如图1所示。 由图1得出，电网监控业务处理有如下3类关键数据流［14］： 收稿日期：2013-06-16 基金项目：国家自然科学基金项目；江西省教育厅科技研究项目（GJJ13350） 作者简介：屈志坚（1978－），男，副教授，博士，研究方向为铁道电网智能调度的监控理论与技术。 38 华东交通大学学报 2013年 1）下行方向的实时控制命令流，包括远程 控制命令和远程参数设置命令（电流、电压阀值、 延时限值、报警限值等）处理流； 2）上行方向的实时数据处理流，包括将实 时数据（状态量、模拟量、越限报警等）信息传送 到主站监控画面实时显示的数据流和处理后存 储进入历史数据库的处理流； 3）历史性数据显示处理流，包括从关系数 据库中取出历史数据（操作记录、事件记录、状