电力大数据应用的关键技术.pdfVIP

电工技术 电力大数据应用的关键技术 崇 鑫 杨森林 1．艾默生网络能源 (西安)有限公司 陕西 西安 710075 2．西安文理学院 物理与机械 电子工程学院 陕西 西安 710065 摘要 ：随着信息化发展，电力行业应用数据大规模高速增长，电力大数据时代正式到来。数据分析与挖掘方法能将 电力大数据中的 有用信息用于生产应用决策，以实现电力大数据的价值。电力大数据应用还面临人力和财力问题，安全和隐私问题等问题。 关键词 ：大数据 ：文件系统：分布式数据库 ；数据挖掘 ；云计算 中图分类号：TM769 文献标识码 ：A 文章编号：1002—1388(2015)02—0087—01 1引言 统 (HDFS)、MapReduce编程模型和HBase分布式数据库。基于 电力行业面临能源枯竭和环境污染的压力，装机容量增幅 HDFS可构建低成本硬件服务器组成的集群，提供高聚合文件读 已经大大放慢。只有寻找新能源载体和契机革新发展模式，才 写访问。MapReduce用于处理和生成大量数据资源。另外，HBase 能实现电力行业新的价值驱动型增长。大数据为电力行业的价 用于结构化和非结构化大数据的读、写操作。目前，云计算是 值增长带来了崭新的机遇。为此，本文对 电力大数据应用的关 电力大数据处理的主要平台。 键技术进行分析。第二部分介绍电力大数据处理流程，第三部 4数据分析与挖掘 分介绍电力大数据管理工具，第四部分为电力大数据挖掘技术， 典型数据挖掘技术包括 A／B测试、聚类分析、机器学习、 最后展望电力大数据的发展趋势和存在问题。 神经网络、自然语言处理等 [3]。机器学习是使用一系列 “学习 2数据处理流程 器”进行学习，并使用某种规则把学习结果进行整合和分析。 电力大数据处理总体上分为大采集、预处理、存储及管理、 机器学习可分为归纳学习方法 (决策树、规则归纳等)、基于范 分析与挖掘 以及应用与决策五个环节 [1]。数据采集完成对外界 例学习、遗传算法等。神经网络是一种模仿动物神经网络行为 数据的接收和记录。电力大数据采集主要通过无线传感器网络、 特征，进行分布式并行信息处理的算法数学模型，它依靠系统 Web2．0平台、条形码技术、RFID技术和移动智能终端等方式。 的复杂程度，通过调整内部大量节点之间相互连接的关系，来 预处理指对数据进行抽取和清洗等操作，将多种复杂结构和类 完成数据挖掘。神经网络可分为前向神经网络 (BP算法)、自组 型大数据转化为标准的数据结构类型，提取出有效数据、过滤 织神经网络 (自组织特征映射、竞争学习)等。自然语言处理包 其中的错误和干扰项。存储与管理是指用存储器把数据存储起 括机器翻译、情感分析、舆情分析、智能输入、问答系统等， 来，建立元数据库、并进行数据分类管理和优化调用。分析和 也是电力大数据挖掘的有效途径。电力大数据挖掘还存在很多 挖掘是采用数据挖掘和机器学习技术，对数据进行分析和处理， 挑战，需要不断改进现有数据挖掘算法，开发数据网络挖掘、 提取隐含的、未知的，极具价值的信息。应用决策是用挖掘的 特异群组挖掘、图挖掘等新型技术，突破用户兴趣分析、网络 信息和知识，为电力行业的生产和决策服务，来提高电力行业 行为分析、情感语义分析等挖掘技术，以适合于电力大数据分 的运行效率。 析。 3数据管理系统 5发展趋势和潜在问题 3．1分布式文件系统 电力大数据可提供许