基于Hadoop数据中心在电力企业应用研究.docVIP

基于Hadoop数据中心在电力企业应用研究 　　摘要：传感器、物联网、云计算等技术的发展和改进，有效地促进了电力企业智能化、信息化和共享化，引入或研发了许多的自动化系统，比如电力控制系统、变电站告警系统、电网监控系统等，这些系统运行积累了海量的数据资源，亟需引入更加先进的Hadoop技术构建数据中心，确保对电力企业数据的分布式、透明化、虚拟存储和访问，进一步提高系统处理速度。 　　关键词：Hadoop；数据中心；电力企业；智能监控 　　中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2017）11-0048-01 　　1 引言 　　云?算、互联网等技术的发展促进了人们进入到大数据时代，海量应用软件运行积累了数以亿计的数据资源，因此构建一个强大的数据中心，可以为用户提供一个高速并发的处理机制，实现数据的操作和服务。随着电力行业的发展和改进，实时监控、应急通信、电力故障及维护等领域引入了许多的信息化、智能化软件，这些软件可以为电网设备数据采集、通信传输、决策服务等提供强大的支撑，具有重要的作用和意义[1]。随着人工智能的发展和普及，电力企业将会引入虚拟现实、增强现实、机器学习、模式识别等技术，构建一个基于移动终端、平板电脑、服务器的先进大数据中心，组成一个强大的智能电网，提高电力企业的智能化水平，保证电力网络的正常运行[2]。 　　本文详细地描述了电力企业数据中心功能，提出利用Hadoop技术实现数据中心操作，分析了Hadoop分布式存储技术，利用MapReduce构建一个计算引擎，能够实现对电力数据的分布式管理，整合了硬件基础平台，融合分布式存储资源，实现信息操作和服务。 　　2 电力企业数据中心功能及应用分析 　　电力企业经过多年的发展，构建一个强大的数据中心，能够实现数据采集抽取、清洗转换、加载存储、数据应用，能够实现数据可视化显示、标准化体系建设，实现信息加工和服务。数据采集抽取功能可以从电力设备、电力线路等一系列软硬件系统中获取数据资源，采集到设备运行记录、电力事故记录、供电信息以及系统运行日志信息，将这些信息保存到数据仓库。清洗转换可以针对采集到的电网数据进行分析，利用归一化方法实现对数据的清洗转换，删除许多的噪声数据或无用数据[3]。加载存储由两个关键程序组成，数据中心设计和建设完成之后，可以将数据装载到中心存储器，数据加载存储需要大量的时间进行装载操作，能够为用户提供一个强大的数据加载引擎，按照变动的操作实现信息加工。数据应用可以针对中心的数据进行加工，并且为用户提供一个报表撰写、存储加工、分析应用和直接查询的操作，将这些操作流程通过后台进行分析，具体的数据应用包括后面才两个非常关键的环节，首先数据需要以维度的模式展现出来，实现信息加工、存储和访问；其次，数据中心需要涵盖原子数据，利用原子数据构建强大的操作流程，否则就不会造成数据的维护操作[4]。 　　在建设数据中心的过程中，为了保证电网数据的可用性，还要引入更多的标准体系，以便能够规范数据接入标准，保证应用数据是规范的，同时还可以实现数据可视化，这样就可以保证数据的操作友好性，能够更好地维护信息系统的功能。 　　在建设完毕之后，数据中心可以为用户提供强大的操作服务，比如实现停电统计分析、综合管理统计应用等。停电统计分析可以根据用户的需求评估用电量，以便能够科学指导电力企业供电、停电，保证居民生活、企业运转的正常性。综合管理统计应用可以从数据中心获取电力项目投资情况、项目实施进度等，及时地将这些信息上报给领导，方便电力企业的正常决策。 　　3 电力企业数据中心建设关键技术 　　电力企业数据中心建设引入了Hadoop技术，该技术在数据提取、清洗转换、数据加载方面具有很多的优势。Hadoop与当前的云计算技术相结合，组成了一个强大的分布式层次化架构，能够为用户提供形象化、直观化、共享化和数字化的应用软件，同时还可以为大数据处理引擎提供存储加载服务，实现对电网信息的精确探测和位置标识。Hadoop引入了先进的MapReduce技术，该技术可以将任何一个数据处理任务打破，并且可以将每一个任务发送到多个节点上，然后可以将单个数据集成加载到数据仓库中，实现信息加工和服务。图1为电力数据中心Hadoop数据处理流程。 　　在电力企业数据中心建设中Hadoop的目标定位是高可靠性、高可拓展性、高容错性、高效性，利用这些优势设计一个强大的数据仓库，实现对基础数据的采集清洗和转换，同时可以为每一个用户提供操作服务。Hadoop在电力企业数据中心建设中采用的关键技术包括很多，最底部是Hadoop Distributed File System（HDFS），其可以实现电力数据中心Hadoop集群中存储节点的文件管理，能够支持MapRedu