风电运营大数据关键技术_2.docxVIP

风电运营大数据关键技术

张兴

摘要：本文探讨了风电运营大数据平台建设与应用过程中遇到的关键技术挑战和技术

突破的方向。文章最后以大数据平台上建设风电经营管控模型中的应发电量为例，介绍基

于大数据平台下应用系统及数据模型的建立。

[关键词]风电运营大数据经营管控模型风电机组全寿命模型性能分析模型

大数据（bigdata），或称海量数据;是由数量巨大、结构复杂、类型众多数据构成

的数据集合，通过数据的集成共享、数据处理与应用，交叉复用形成的智力资源和知识服

务能力。大数据的4V特性（Volume、Velocity、Variety、Value）正在逐步改善工業制

造领域和运营领域的效率。如何挖掘大数据来智能支撑风电运营商的各项业务并进行业务

转型，是目前研究的热点问题。总体而言，风电运营大数据沉淀了五个维度的海量数据：

一维风电场机组、升压站、测风塔、关口表等时间序列数据，一维设备台账数据，一维人

员运行检修记录数据，一维运营指标数据，一维生产系统统计结果数据。

其中，风电场机组、升压站、测风塔等时间序列数据量大（约占大数据平台数据总量

的97%）。假设其每秒产生2KB的回传数据，一台风机一年产生的全量数据为60GB。当有

上万台风机的时候，数年下来历史数据会达到PB量级。通过对五维数据建模实现3个业

务的升级：风电经营管控模型、风电机组全寿命模型以及机组性能分析模型。

1风电运营大数据平台

如图1所示，风电运营大数据平台以开源Hadoop技术为基础架构，实现海量数据的

存储和分析，实现信息一致、资源共享、消除信息孤岛。风电运营大数据平台的建设目标

是：

（1）建立一个规范化、标准化的数据共享资源，包括数据采集、数据存储、数据共

享等的标准化。实现生产类，运营指标类等风电生产运营数据标准规格统一，完善数据分

析指标体系。

（2）解决现有信息化系统计算分析瓶颈。

随着数据库数据的不断增加，计算分析所花费的时间随之延长，定时计算任务对服务

器造成压力也较大，生产系统需要经常使用数据展示，不适合进行频繁的统计分析查询，

计算任务也在逐年增加，有必要打破系统各自计算的现状，使用这种计算能力易扩展、分

析方法分析手段丰富的大数据分析。

（3）实现多种类型生产运营数据的存储分析。现有实时数据库目前只能存储浮点、

开关量的数据，无法存储、振动波形、音频、视频、文本等生产数据，并发挥这些数据的

价值。

（4）实现数据接口、数据共享服务。现.有各类信息系统之间数据无法共享，各系统

间存在数据孤岛问题，计算后的模型无法共享，存储的数据未在全集团共享，因此提高数

据共享能力，能够降低各系统使用数据难度，实现数据价值最大化。

2技术挑战

风电运营大数据平台的建设对于风电经营管控模型、风电机组全寿命模型以及机组性

能分析模型的提升带来以下几个技术挑战。分别是海量数据实时数据服务、海量数据存储、

数据画像、行业数据模型建立、应用数据平台服务。

2.1海量实时数据服务

首先估算一台风机的回传数据大小，假设每台风机每秒回传500个数据点（即500个

传感器属性），按运营商15000台风机估算，风电运营大数据平台的数据接收端需要实现

750万点/秒的速率接收全部风机设备的回传数据，并且对收到的数据进行实时处理。首先，

针对750万点/秒的回传速率，以每个数据点4Byte计，需要以28.6MB/s的吞吐量在异步

消息平台实现数据的接收。其次，针对实时分析，需要实时分析平台的支持750万点/秒

的实时处理。

海量实时数据从风电场端前置机接收的数据用flume发送给Kafka进行异步消息发布，

然后用Storm从Kafka集群中订阅相关消息，进行实时分析，分析结果再写入Kafka，然

后用Flume从Kafka订阅消息后发送给HDFS落地。如图2所示。

海量实时数据服务的架构优势在于：