基于内存计算技术大数据平台推动电网企业实时运营.docVIP

基于内存计算技术大数据平台推动电网企业实时运营 　　【摘要】 随着智能电网和企业信息化的大规模建设，电力企业积累了海量的大数据，如何基于这些数据形成实时业务洞察和分析决策，是目前电力企业广泛思考的问题。基于此，本文主要介绍了基于内存计算技术的实时数据管理和分析平台，进行性能加速，全面提升系统运行分析效率，让企业根据不断变化的海量数据进行快速处理与分析，实时掌握企业运营情况，提高企业整体效益和竞争力。 　　【关键词】 大数据 内存计算 性能加速 数据分析 决策支持 　　众所周知，我们正处于一个信息爆炸的时代，全球数据量的复合增长率将达到59%，越来越多的企业利用大数据分析和挖掘技术，来实现更大的业务价值。同样，随着智能电网的建设、自动化和信息技术的应用，电力企业数据量快速增长，但是，基于大数据实现实时业务洞察和分析决策，目前还存在很多问题和挑战： 　　1）数据量的急剧增加使得业务应用系统响应变慢，影响业务应用系统生产效率。 　　2）海量数据统计分析性能低下，管理者无法及时了解业务生产总体状况，动态监管滞后。 　　3）随着总部、省（市）公司两级数据中心的建设，实现了将不同来源的业务系统数据进行统一存储和对外提供数据服务，跨部门、跨专业的综合性应用分析需求日益增多，现有技术无法满足决策层快速智能分析和辅助决策的要求。 　　基于此，本文介绍了基于内存计算实时数据平台的技术架构和特点，以及在电力行业的典型应用，并介绍了相关的技术验证和实践；利用基于内存计算的实时数据平台，可以有效地支持电力行业实现实时业务洞察和分析决策，将大数据转化为巨大的业务价值。 　　一、内存计算技术简介 　　1.1内存计算技术概述 　　内存计算技术是指CPU直接从内存而不是硬盘上读取数据，进行计算、分析，是对传统数据处理方式的一种加速。内存计算技术利用计算机硬件（多核心CPU和超大内存）方面的优势，巧妙的将数据放在计算机内存里进行处理，并在内存中进行大量的数据分析和计算，以实现更快速的数据处理能力。因此，内存计算非常适合处理海量的数据，以及需要实时获得结果的数据，相对于传统数据处理方式，内存计算技术在商务智能分析、数据挖掘加速器、模拟分析预测、在线交易处理和在线分析处理等业务领域，更具有优势。当前，内存计算主要以下四种关键技术：海量内存管理技术 、数据压缩存储技术、并行计算技术和高效计算模型。 　　1.2 SAP HANA 　　SAP HANA是SAP公司于2011年推出的基于内存计算技术，面向企业分析性应用的产品。利用SAP数据同步复制技术将源系统数据同步到HANA内存数据库中，再利用SAP高效的内存计算引擎对数据运算分析后，提供给前台进行数据展现。SAP HANA内存计算平台具有以下特点： 　　（1）高效的并行处理机制 　　SAP HANA内存计算平台整体的体系架构基于Inter X处理器平台支持多服务器、多处理器的高效并行处理。在底层开发中，Inter为SAP HANA提供专门的开发包，让HANA的应用能够最高效、充分的利用多处理器的并发能力。 　　（2）基于内存的高效数据读取和处理 　　从硬盘中读取数据的速度是毫米级的，而从内存中读取数据的速度是纳秒级的。SAP HANA是将数据直接存储在内存中，比传统的将数据从硬盘中读取性能要快100万倍，大量提高了数据的读取和处理时间。 　　（3）高效的数据压缩 　　SAP HANA采用基于智能数数据字典的高效数据压缩机制，能够将数据压缩5～20倍，从而节省硬件投资。 　　（4）行存储和列存储混合模式 　　SAP HANA是行业中唯一能同时支持行存储和列存储的内存数据库，所以能够对OLAP交易系统和OLTP分析系统同时提供高效的支持。 　　（5）在数据库层面进行数据运算 　　SAP HANA除了提供完善的数据库功能外，其内置的内存计算引擎可以将原本在应用层进行的运算转移到数据库层进行运算处理，这样能够优化应用层和数据库层之间的数据交互，从而从整体上提升系统的效率。 　　二、基于HANA内存计算的大数据优化 　　目前基于HANA内存计算的大数据优化方法主要有两种：一是加速器架构方式，二是ON HANA架构方式，具体说明如下： 　　2.1 HANA加速器架构 　　加速器架构是指将HANA数据库作为源系统的第二数据库，利用SLT数据实时复制工具将ERP系统中的表实时增量复制到HANA中，再利用HANA高速的内存计算特性对数据进行加速处理，最终返回给源系统应用层进行展现。对于用户而言，其操作界面仍在源系统中，操作方式未作任何形式改变，仅感到系统运行速度变快。同时，通过配置或程序控制，报表程序能自动优先选择从HANA数据库中查询数据，当HANA服务器出现故障时，报表程序会自动