电力大数据高速存储及检索关键技术研究.docxVIP

电力大数据高速存储及检索关键技术研究 　　摘 要：本文首先对当前电网典型业务系统大数据架构进行简单分析，重点研究而电力大数据高速存储及检索特征和关键技术，了解电力大数据的重点技术，在此基础上深入研究即时处理技术对于大数据典型应用的有效性，希望通过本文的研究能够更加全面的掌握关于电网业务系统大数据框架结构的基本情况，了解在电力大数据系统中应用的各种先进技术及主要特点，同时也为后期更好的研究即使处理技术及电力大数据提供参考。　　关键词：电力大数据；高速存储；检索　　中图分类号：TM769 文献标识码：A 文章编号：1671--0038-02　　1 引言　　近年来随着我国电力行业的不断发展，电力系统规模不断扩大，电力企业在运行中产生的数据发生较大的变化，数量越来越多、种类愈加复杂、来源更加多样化，在系统运行访问中容易出现响应不及时的情况，对电力企业的生产、运营管理等各环节的业务都产生较大的影响。而且随着大数据时代的到来，更好的应用电力企业产生的各种数据对于企业的发展具有重要的意义。因此在现阶段加强对于电力大数据及其高速存储、检索等关键技术的研究具有重要的现实意义，能够更加深入的分析研究大数据，发挥大数据的价值，全面掌握电网运行中各种典型业务系统的数据架构，更好的发挥高速存储、检索、即使处理等各种先进技术的作用，解决大数据系统建设存在的问题，也为电力大数据技术的应用提供指导和支撑。　　2 电网典型业务系统大数据架构分析　　随着电网技术的不断升级，大数据已经成为电力企业发展中的重要特征，数据的应用对企业发展的应用的也愈加深刻。在电网运行中的典型业务就是电力系统用电信息的采集，该系统中存在诸多用户，基数比较大，而且每天都会产生大量的数据，在业务系统运行中，数据的统计分析容易出现响应缓慢的情况，用户在使用系统时需要等待较长的时间。电力大数据一方面能够拓宽电力行业的深度，对供给侧、需求侧进行整合；另一方面也打破便捷，挑战垄断地位。针对这种业务系统，首先要对用电信息采集业务系统中使用的数据存储、数据检索以及信息流计算等各种技术的架构进行全面的分析，其次要对各种不同数据使用的存储检索技术的性能及架构进行分析总结，包括非结构化数据和结构化数据；在此基础上，深入研究电网运行中各种典型业务系统对即时信息流的处理技术的需求及应用现状。应用电力大数据，能全面掌握电力企业乃至整个行业的发展状况，预测未来的发展趋势，调整企业的发展规划，比如并网电价等，促进电力企业的发展[1]。　　3 电力大数据高速存储及检索特征和关键技术　　 电力大数据高速存储及关键技术　　大数据高速存储系统体系结构的研究主要几方面的问题；基于Hadoop分布式存储系统的副本管理机制，重点研究在元?稻莘?务器出现异常情况时需要使用的副本替换和重定向算法，从而避免受单一故障影响出现整个文件系统瘫痪的情况；研究基于Hadoop分布式文件系统的备份恢复机制和动态扩展机制，重点研究如何对原有SAN网络等设备文件系统与分布式文件系统进行兼容，以及如何快速对分布式文件系统中的文件进行恢复同时进行增量式备份。　　面向电力大数据的存储系统自配置自优化技术。基于Hadoop分布式文件系统的存储系统性能会受配置参数的影响产生较大的波动，而且系统的配置也比较灵活，各种应用数据也比较丰富，因此需要深入研究在大数据系统运行中影响系统存储性能的各种关键因素，针对这些因素设计合理的算法对系统进行自适应动态采样。同时要研究如何应用多节点协同配置优化技术、异构分布式跨层配置降维机制以及性能评测数据生成技术，在此基础上设计系统对面向大数据应用的存储系统的性能基准进行测试[2]。　　电力大数据的存储速度要求比较高，但是信息的处理速度要求不高，针对这种情况在存储方案中需要引入数据缓存单元，一方面能够满足信息高速收集的要求，另一方面能够降低数据处理的成本。一种方式是应用FIFO存储器，信息数据从一头进入，另一头流出，而且有顺序要求。信息数据的传输效率比较高，但是只能按照顺序进行数据读写，而且成本也比较高。第二种方式是采用双口PAM，利用两套独立的端口进行数据的收集缓存，而且彼此可以进行数据交流，随时对数据进行读取。第三种方式是SRAM切换，虽然能够随时读写，但是占地面积比较大。　　 电力大数据检索特征及其关键技术　　电力大数据索引结构分析研究。首先要对大数据检索体系的结构、查询方法以及检索特征等进行分析，深入研究检索系统在电力大数据中应用的体系结构需求。其次对各种采集类和档案类数据进行采样分析，并分别研究不同数据的特征，根据其特点的不同，对使用的检索方法等进行总结归类。在此基础上深入研究电网业务中的大数据特征以及检索业务的逻辑结构需求等。面向电力大数据的多维索引关键技术研究。目前还没有形成关于大数据多维索