基于云计算技术电力大数据预处理属性简约方法.docVIP

基于云计算技术电力大数据预处理属性简约方法 　　摘 要：随着当今时代信息技术的快速发展，大数??概念一经提出便被广泛应用到了多个行业领域当中，将之应用于电网系统当中表现出了十分明显的多类型、大体量、高效率特性，基于这一现状之下显然已经无法再用传统的属性约简方式来对电力大数据进行计算与处理。因此，基于云计算的电力大数据预处理属性约简方法也便应运而生。该文主要就基于MapReduce技术的电力大数据预处理属性约简方法展开了深入探究，并最终就其正确性与对节点数目的影响进行了验证分析。 　　关键词：云计算技术 电力大数据 MapReduce技术 属性约简 　　中图分类号：TP18 文献标识码：A 文章编号：1674-098X（2017）04（c）-0158-02 　　身处于当今的大数据时代，电力企业信息化程度和智能电力系统的建设，将促使电力数据的体量实现指数级增长；在电力大数据应用方面，对于行业内外各方面的数据分析均会导致电力数据计算与处理类型成本增多。充分挖掘软硬件资源的潜在价值，减小投入支出，更多的从海量的数据信息当中发掘出其中有价值的数据，促使相关的管理人员能够获得更加多元化的知识内容，将是在大数据时代开展电网管理与控制工作最为重要的一项难题。 　　1 概述 　　在具体的电网数据分析工作中，对于最终决策起到主导作用的因素很可能仅是其中的某一部分，而要将这些最为关键的因素及时寻找出来将会对于缩减数据处理规模、提升数据处理效率意义重大。有研究人员就通过应用经典粗糙集理论将对于风力速度有可能产生影响的属性进行了约简处理，同时在对风力速度的预测过程之中也达到了较为满意的效果。一般的数据约简处理方法尽管在减小时间复杂程度、提升效率上价值明显，然而，此类属性所采取的约简算法都是假定将所有的数据内容一次性录入系统内，很明显这无法适用于电力大数据系统。还有研究采用传统关系数据库技术属性约简方式，来处理小规模属性约简问题，尽管在时间性能方面取得了较为满意的效果，然而采取此类方法所能够应对处理的数据规模及时效性均会受制于硬件限制。 　　而将云计算技术应用于电力大数据预处理当中，则能够给予其软件及硬件资源和相关的数据处理提供以新的途径方式。在本次研究中重点就针对美国谷歌公司所提出的MapReduce编程模型展开了深入的分析与探讨，具体就粗糙集相对正域理论和现行的知识约简计算方式展开了深入剖析，结合其模型设计与计算最终对基于云计算技术的电力大数据预处理属性约简方法的正确性，及其对节点数目的影响展开了实证分析，最终的实验结果显示，此项计算方法不当可大幅度提升电力大数据集的属性约简计算效率，同时还可达到较为优异的可拓展性效果。 　　2 基于MapReduce技术的电力大数据预处理属性约简 　　将一个电力大数据集视作为是一项电力知识表达系统，相应的便需求出对指定决策属性集的条件属性，也就是将这一电力大数据集的属性约简问题转归成计算正域势的问题。应用MapReduce计算以上问题，其具体方法为：map函数同时对于多个数据分片进行访问，依据实际需求，将属性及属性值取出，并以此产生出键值对（其所代表的意义即）。Reduce函数接收来自于各个节点map所发送出的key值所对应的键值对序列，并以此来求出相同等价类的具体数量。 　　Hadoop在进行复杂任务处理之时是对任务数量的增多，而并非是提高map与reduce的复杂性，因此基于云环境下进行电力大数据预处理属性约简，则可设计出多个函数及主程序。在此方面的约简处理过程当中，可将某项具体的电力大数据集视作为是一项电力知识表达系统，并基于这一基础之上，再开展属性约简处理，并可将其视作为是对正域势的计算，具体的计算方式如下所示： 　　（1）map函数位于同一时段内针对多项数据分片各自独立展开访问，同时依据实际要求规范来获取属性和属性值，进而产生出键值对； 　　（2）Reduce函数对即为各节点处的map与所发送的key值所相对应的键值对序列，同时还需针对相应的等价类个数予以计算处理。 　　应用Hadoop针对复杂任务予以处理之时，其主要侧重于对任务数量的增多，而并非是针对map以及Reduce函数复杂性的加强。因而，在基于云计算技术的电力大数据预处理属性约简方面，针对性设计出两项map，三项Reduce以及call job函数，同时还可携带一项主控程序，最终再结合以实际需求，各自给定算法，即可针对大数据预处理属性展开约简计算。 　　和传统约简方法相对比来看，基于云计算的约简方法不但可促使无法针对大数据集进行处理的情况迎刃而解，同时还能够显著提升整体简约处理的效率，大大减小简约复杂性，可同时实现对空间与时间的双重精简。鉴于此，在目前的电力企业发展过程之中，这一技术已成为电力大数据预处理属性约简的