龙源电力大数据解决方案 20150104.pptx

龙源电力大数据解决方案 IBM TSS 风电企业需要持续优化存量资产绩效，并从风场全生命周期管理的角度优化 新增资产投资 信息和系统集成 建设 运行 维护 优化 间歇性能源的可扩展集成需要增加系统的灵活性以及先进的信息化管理，以支持可再生能源的发展 项目融资和可行性是关键的风险因素 在设计，选址，建设，安装，运维阶段应用完整的生命周期管理理念 解决复杂建设项目的挑战：预算内按时交付 资产是动态增长的，需要远程监控，业务KPI和运营最佳实践。 跨站点监测和预报，地区对混合发电组合需要的标准化信息模型 通过高级分析技术持续优化资产管理成熟度，降低成本，提高资产可用性 增强数据标准化及信息模型，进一步简单化和集中化管理全局资产 风电预测 如何提高风力发电的预测准确度，实现更多风机并网发电？ √ √ X X X 龙源电力稳居国内首位，有望在2014年底超越Iberdrola Renovables公司，成为世界第一的风电企业。 几十个风场 8000台风机 IT问题 PI系统容量有限，维护昂贵，无法进行数据导出并分析； 数据分散，无法进行全量数据分析； IT容量不足，如何利用最新大数据分布式技术，为业务发展和优化打下基础； 监控系统：5台Linux，4台3850,1台3650，，共享DS4700存储，容量4.8T；Oracle关系数据库+PI内存数据库 功率预测：5台Linux，3550/3650机型，共享DS4700存储，Oracle数据+Tomcat软件 振动系统：3台X服务器，共享DS4700存储，非结构化数据（波形数据包） 目前数据量：1万台风机，5秒采集一次数据，2亿条数据/天；每条数据1000个字段，包含200多模拟量，500多开关态量（0或者1）；还有部分关系型数据； 估算容量：2年总的数据规模为：3600秒×24小时×365天×2年×2KB×8000台=939.8TB 一期 搭建大数据平台基础架构，大数据平台旨在将企业及各级发电场站生产、运营、维护、管理等各个环节产生的结构化、非结构化数据统一存储、管理于平台之上，并有力支撑各业务的数据分析、数据挖掘以及决策支持系统 流数据处理，在发电场站实时监测数据传输的同时对数据进行预处理，生成中间结果，可用于数据展示、数据分析和数据挖掘，显著提高数据处理能力和处理效率 增强的数据分析功能，利用业界的领先图形化工具，灵活实现数据模型的图形化建立、模型筛选、模型推荐，模型训练等功能； 二期 实现现有Oracle数据库和大数据平台的同步数据管理，进行数据转换，同步功能，实现统一的元数据，对外提供数据服务 针对实时性很高的业务，通过实时数据库或者SPARK功能实现快速运算，展现； 建立一套数据量相对较小的关系型数据商业智能系统，实现数据汇总功能，对大数据平台补充； BigInsights 大数据存储与处理引擎 SPSS 数据分析与预测引擎，易扩展； Streams 流处理，功能部分在BigInsights中 Oracle 提供汇总数据展现功能 DataStage 提供数据加工处理功能，数据导入 MDM 主数据管理，提供单一的元数据功能 TimeSeries或者SPARK 实时数据库功能 全量数据管理 数据优化和增强 硬件采用9台IBM 3650M4，基于IBM BigData的分布式解决方案，提供风机5秒实时数据处理，基础全量数据存储、风能性能数据分析、设备预防性维护运维优化； 大数据数据存储和分析：通过BigInsights集群实现，规划1个管理节点，5个数据节点提供数据运算功能； 实时数据处理和分析：通过streams集群实现，目前规划2个节点，同时兼做SPSS数据建模服务器； 接口共享应用服务器和数据库服务器：使用Oracle数据库，提供汇总数据存储，实现WEB展现和报表数据库，同时兼做接口共享服务器； 大数据存储：采用本地盘作为存储，5台数据节点对应16块磁盘，2块作为系统盘，剩余14块盘，共14T，共70T裸容量存储； 领先的业务分析和运行优化 风电场运营评估及优化 故障设备报警 设备维护计划优化 发电能力分析 电厂运营分析 资产管理 故障预测与预测性维护 完全契合大数据发展理念 领先：Biginsights是业界首个商业化的Hadoop引擎，也是业界首个具备数据库集成能力的Hadoop引擎。 成熟性：此次方案采用的技术组件均经过大量实际验证 方案特点 分布式平台特色，灵活扩展（计算能力和存储能力）； 领先的建模工具 基于大数据的模型优化引擎 IBM BigInsigths比开源hadoop的优势 方案在商业软件和开源之间找到了完美平衡：如果在商业软件中，需要使用开源的软件，则完全可以支持开源hadoop软件，无缝集成在一起； IBM Hadoop软件采用GPFS分布式文件系统，