云计算数据库在海量用电信息采集系统应用研究.docVIP

云计算数据库在海量用电信息采集系统的应用研究 　　摘 要：本文主要探讨如何将云计算技术应用在海量用电信息采集系统中，从而解决海量用电信息数据实时并发采集入库的速率问题、历史大数据的秒级查询和计算问题，提高了系统数据的实时性和可用性，满足了用电信息采集系统自治区级集中模式下的各盟市、县级操作人员对实时采集数据的查询、统计和分析工作，提高了工作效率。 　　关键词：云计算；用电信息采集系统；实时数据库；海量数据 　　中图分类号：TP315 文献标识码：A 　　An Applied Research of Cloud Computing Database in Mass 　　Electric Energy Data Acquire System 　　LIU Xiaoqi 　　（Youth Political College of Inner Mongolia Normal University，Huhehaote 010051，China） 　　Abstract：This paper mainly discusses how to apply Cloud Computing technology to mass Electric Energy Data Acquire System to solve the problem of the real-time concurrency storing speed of mass Electric Energy Data and the problem of the second-level query and calculation of historical mass-data，and then to improve the instantaneity and availability.Under centralized mode of Electric Energy Data Acquire System of the autonomous-region level，this will meet the demands of the operators of the leagues，the cities，and the counties for query，statistics，and analysis work of the real time collected data.This will improve the work efficiency. 　　Keywords：cloud computing；electricity consumption information collection system；real-time database；mass data 　　1 引言（Introduction） 　　随着智能电网[1-3]建设的不断开展，之前普遍使用Oracle数据库进行数据存储和查询的方法已经不能满足用电信息采集系统的需要。目前的用电信息采集系统，如果用户数据超过百万级，并发采集入库时，系统只能将用户数据先保存到临时文件中，然后再通过分批次的方式写入到库中，而不能把数据直接保存到数据库中，从而保证不会因为数据量过大而出现数据库崩溃的情况。目前的处理方式存在很多弊端，首先是采集数据的入库延迟，无法实现数据实时监控；另外，系统每天都会产生大量的采集数据，随着时间的累积，数据量也变得异常庞大。这时再进行数据的查询或计算工作时，会需要相当长的时间，从而失去了时效性，也就失去了查询的意义，失去了实时分析的意义，极大地降低了工作效率。 　　云计算数据库技术可以通过采用分布式文件存储与关系型数据库结合的模式，优化用电信息采集系统大规模数据高效存取和并行计算能力，从而为用电信息采集系统及其他信息系统提供高质量的数据处理服务，为实现用电信息采集系统“全覆盖、全采集、全费控”的建设目标提供有力的技术支撑。 　　2 系统技术架构设计（System technical architecture 　　design） 　　2.1 系统架构 　　用电信息采集系统从功能上大致可以分为采集集群、云数据存储环境、并行ETL环境、并行分析计算环境、数据查询组件、前端接口以及用于开发的映射工具。系统总体架构，如图1所示。 　　图1 系统总体架构 　　Fig.1 Overall system architecture 　　2.2 技术性能 　　（1）高性能的存储技术 　　a.存储策略的优化 　　云实时数据库存储平台利用分布式存储机制，把数据分开保存到多个独立的存储服务器上。包含卷管理服务器、元数据管理服务器、数据存储节点服务器和挂接访问客户端以及管理监控中心服务器，