智能电网大数据存储技术综述.docxVIP

智能电网大数据存储技术综述 0 大数据的研究意义 近年来，随着世界能源问题日益严重，世界各国都开展了智能能源行业的研究。智能电网的最终目标是建设成为覆盖电力系统整个生产过程,包括发电、输电、变电、配电、用电及调度等多个环节的全景实时系统。而支撑智能电网安全、自愈、绿色、坚强及可靠运行的基础是电网全景实时数据采集、传输和存储,以及累积的海量多源数据快速分析。因而随着智能电网建设的不断深入和推进,电网运行和设备检/监测产生的数据量呈指数级增长,逐渐构成了当今信息学界所关注的大数据,这需要相应的存储和快速处理技术作为支撑。 由于云计算平台的广泛应用,积累了海量、多源异构数据,这急需人们研究这种大数据的分析技术和理论。目前,大数据已成为学术界和产业界共同关注的研究主题,在很多领域获得了应用,具有广阔的应用前景。仅2009年,谷歌公司通过大数据业务对美国经济的贡献就为540亿USD,而这只是大数据所蕴含的巨大经济效益的冰山一角。淘宝公司通过对大量交易数据的变化分析,可以提前6个月预测全球经济发展趋势。IBM公司利用多达4 PB的气候、环境历史数据,设计风机选址模型,确定风机安装的最佳位置,从而提高风机生产效率和延长使用寿命。 2011年5月,麦肯锡公司发布了关于大数据的调研报告《大数据:下一个前沿,竞争力、创新力和生产力》,文中充分阐明了大数据研究的地位以及将会给社会带来的价值,大数据研究已成为社会发展和技术进步的迫切需要。 在智能电网系统中,大数据产生于整个系统的各个环节。比如在用电侧,随着大量智能电表及智能终端的安装部署,电力公司和用户之间的交互行为迅猛增长,电力公司可以每隔一段时间获取用户的用电信息,从而收集了比以往粒度更细的海量电力消费数据,构成智能电网中用户侧大数据。通过对数据进行分析可以更好地理解电力客户的用电行为、合理地设计电力需求响应系统和短期负荷预测系统等。 鉴于大数据在电网中出现的场合越来越多,有必要对目前的应用现状和将来的挑战进行总结,为大数据技术在智能电网建设中的应用提供有益的参考。本文试图对智能电网中大数据的研究和应用现状及挑战进行综述,并给出智能电网大数据存储与分析系统的一种可选的框架。 1 智能能源行业的大数据及其特点 1.1 大量数据的获取 电网业务数据大致分为3类:一是电网运行和设备检测或监测数据;二是电力企业营销数据,如交易电价、售电量、用电客户等方面的数据;三是电力企业管理数据。 根据数据的内在结构,这些数据可以进一步细分为结构化数据和非结构化数据。结构化数据主要包括存储在关系数据库中的数据,目前电力系统中的大部分数据是这种形式,随着信息技术的发展,这部分数据增长很快。相对于结构化数据而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,主要包括视频监控、图形图像处理等产生的数据。这部分数据增长非常迅速,互联网数据中心(Internet data center,IDC)的一项调查报告指出:企业中80%的数据都是非结构化数据,这些数据每年都按指数增长60%。在电力系统中,非结构化数据占到了智能电网数据的很大比重。 结构化数据根据处理时限要求又可以划分为实时数据和准实时数据,比如电网调度、控制需要的数据是实时数据,需要快速而准确地处理;而大量的状态监测数据对实时性要求相对较低,可以作为准实时数据处理。 智能电网与传统电网存在很大的不同,具有更高的智能化水平,而实现智能化的前提是大量实时状态数据的获取,目前智能电网中的大数据主要是因为以下几个方面: 1)为了准确实时获取设备的运行状态信息,采集点越来越多,常规的调度自动化系统含数十万个采集点,配用电、数据中心将达到百万甚至千万级。需要监测的设备数量巨大,每个设备都装有若干传感器,监测装置通过适当的通信通道把这些传感器连接在一起,由变电站的数据收集服务器按照统一的通信标准上传到数据中心,这实际上构成了一个物联网。而物联网的后端采用云计算平台已被认为是未来的发展趋势。智能电网设备物联网同云计算平台的基础设施层互联,进行数据交换。 2)为了捕获各种状态信息,满足上层应用系统的需求,设备的采样频率越来越高。比如在输变电设备状态监测系统中,为了能对绝缘放电等状态进行诊断,信号的采样频率必须在200 k Hz以上,特高频检测需要GHz的采样率。这样,对于一个智能电网设备监测平台来说,需存储的监测或检测的数据量十分庞大。 3)为真实完整记录生产运行的每个细节,完整反映生产运行过程,要求达到“实时变化采样”。 在智能电网中,大数据产生于电力系统的各个环节,包括: 2)输变电侧。2006年美国能源部和联邦能源委员会建议安装同步相量监测系统(synchrophasorbased transmission monitoring systems)。目前,美国的100个相