基于HBase配用电海量时序数据存取研究.docVIP

基于HBase配用电海量时序数据存取研究 　　摘 要： 针对配用电海量时间序列数据，目前南方电网普遍采用关系型数据库进行存储，在技术上使用分库、分区、分表、联合索引等方式进行优化，灵活性、可扩展性、存储量等方面都存在问题。为满足配用电海量时间序列数据的存储要求，分析了关系型数据库优缺点，提出采用分布式数据库HBase构建电力系统数据中心以提高系统性能，并重点分析了HBase数据存储机制及实现方法，最后通过仿真实验进行对比。实验结果表明，基于HBase的配用电海量时间序列数据存取技术在存储及查询操作上具有较大的性能优势。 　　关键词： 配用电； 时间序列数据； 南方电网； 分布式数据库； 存储机制； 仿真实验 　　中图分类号： TN911?34； TP333 文献标识码： A 文章编号： 1004?373X（2017）13?0159?05 　　Abstract： The relational database is widely used in the Southern Power Grid to store the massive time series data of distribution grid， and the technology modes of sub?library， zoning， sub?table and unified index used for optimization have the problems in the aspects of flexibility， scalability and storage capacity. To meet the requirements of massive time series data storage of distribution grid， the advantages and disadvantages of the relational database are analyzed， and a distributed database HBase is presented to construct the data center of the electric power system to improve the system performance. The HBase data storage mechanism and implementation method are analyzed emphatically. The simulation experiments are carried out to compare the performance. The experimental results show that the HBase?based massive time series data storage technology of distribution grid has great performance advantages in storage and query operation. 　　Keywords： distribution grid； time series data； China Southern Power Grid； distributed database； storage mechanism； simulation experiment 　　0 引 言 　　近几年，智能化伴随着电子信息技术的发展逐步深入电网，智能电网成为电力行业研究和应用的热点[1]。智能电网的重要特征之一便是电网的信息化，为应对电网工作中的各种变化，需逐步推进信息获取、传送与存储利用的变革，从而形成供电网络的全面自动化[2]。在南方电网范围内，基于配网自动化、计量自动化、实时数据中心的配用电海量时间序列数据，目前还是运用关系型的数据库进行数据存储管理。 　　传统关系型数据库如MySQL，Oracle等得到了较为广泛的传播和应用，海量数据的存储解决方案也主要使用关系型数据库。传统关系型数据库基于关系和对象模型，对复杂数据存储有较高的表现力。然而随着用电信息采集、配电自动化等系统不断完善，配用电环节产生的数据逐渐呈现出海量、数据项复杂、处理逻辑复杂、存储周期长、计算频度高等大数据特征，因此对于数据量的存储技术要求不断提高，关系型数据库渐渐无法满足海量数据存储对可扩展性的要求[3?4]。 　　?S着HBase技术的不断发展，为解决电力设备数据存储遇到的各种问题提供了新的解决思路。结合配用电海量时间序列数据的特点和国内电网公司的应用需求，本文用HBase构建一个分布式、可伸缩的时间序列数据库。首先介绍了