基于分布式文件电力异构数据存储综述①.PDF

计 算 机 系 统 应 用 2017 年 第 26 卷 第 2 期 基于分布式文件电力异构数据存储综述① 张 琦 1, 陈 艳 2, 张春平 1, 刘 铭 1 1(南瑞集团公司(国网电力科学研究院), 南京 210000) 2(国家电网上海电力公司, 上海 200122) 摘 要: 随着国网公司信息化建设的不断推进, 在整个电网的运检和管理的过程中都会产生海量的数据, 这些数 据中包含各场景产生的视频、图片、传感器数据和一些企业档案信息等非结构(异构)化数据. 在面对如此大规模 非结构化的数据存储要求时, 传统关系型数据库已经表现的力不从心了. 如何对此类数据进行高效地、廉价地和 安全可靠地存储, 并且可以快速检索与分析, 是当下研究的重要热点课题之一. 本文首先分析了电网大数据的产 生及特征, 然后综述了工业界大数据分布式文件存储技术, 最后分析适合国网非结构化数据的分布式文件存储 策略. 关键词: 大数据; 非结构化; 分布式文件; 数据存储 Overview of Unstructured Power Data Storage Base on Distributed File System ZHANG Qi1, CHEN Yan2, ZHANG Chun-Ping1, LIU Ming1 1(NARI Group Corporation (State Grid Electric Power Science Research Institute), Nanjing 210000, China) 2(State Grid Shanghai Municipal Electric Power Company, Shanghai 200122, China) Abstract: With the development of Smart Grid, in the process of the operation, maintenance and management of Smart Grid, massive heterogeneous data can been generated. The massive data includes videos, images, sensor data and some enterprise file information, etc. Traditional relational database is unable to store so large-scale unstructured data. So far, it is one of the hot research topics that how to store the unstructured data efficiently, cheaply, safely and reliably, and how to retrieve and analyze quickly. This paper analyzes the generation and characteristics of big data of Smart Grid, and review the storage technology of distributed file system in industry. Finally, we propose a distributed file system storage strategy for unstructured data of Smart Grid. Key words: massive data; unstructured; distributed file; data storage 引言 究问题之一, 它的研究地位及