基干云计算技术电力大数据预处理属性约简方法.docVIP

基干云计算技术电力大数据预处理属性约简方法 　　摘 要 基于云计算技术的电力大数据预处理属性约简是当前电力企业数据处理的主要发展方向。文中对其发展进行了简单介绍，并对MapReduce在电力大数据预处理属性约简中的应用以及基于MapReduce技术的电力大数据预处理属性约简进行详细分析 【关键词】云计算技术 电力大数据 属性约简 自进入二十一世纪以来，人类社会便正式进入了网络信息化时代，在信息化大背景的影响下，企业信息化和管理系统化已经成为主流趋势，而在电力企业中，由于其自身数据处理的复杂性和庞大性，其不仅实现了信息化管理，更在此技术上，对云计算技术进行了全面应用，以实现大数据处理。但是，由于受发展时间短以及相关技术人员和管理人员技术水平和职业素质不高的影响，其在云计算以及大数据处理等应用方面依旧存在一定缺陷，需要加强人员和技术投入，不断加强对技术的研究和创新，使其能够更好的满足电力企业的经营和管理需求；因此，接下来，本文就以更好的提高电力企业云计算应用技术为主要目的，对基于云计算技术的电力大数据预处理属性约简方法进行深入研究 1 电力大数据预处理属性约简方法的发展 在电力企业的经营和管理中，为了能够更好的提升供电的稳定性和质量，并对自身的经济效益进行有效保障，就需要对电网数据进行详细分析，尤其是对大数据进行科学、高效的预处理。电力大数据预处理主要包括数据清洗、集成、转换以及约简等众多环节，其中任何一个环节出?F问题，都可能对电力企业的最终决策目标造成影响。因此，在大数据预处理过程中，就需要提高数据的分析效率，并以此为基础对各个环节中的决定性因素进行有效控制，设法降低电网的数据处理规模。比如，在对风速进行预测的过程中，相关技术人员便应用了经典粗糙集理论方式，约简出了影响风速的关键属性；在电力大数据预处理中同样如此，需要根据不同情况采用不同的约简方式约简出其关键属性 在之前的电力企业经营和管理中，所应用的约简算法虽然也能够在一定程度上降低时间复杂度，也相应的提高了数据预处理属性约简效率，但是这种算法是一次性将所有数据都存入内存中，因此，这种算法只适合应用于传统的电力数据处理中，而不适合应用在现代化的电力大数据处理中 因此，为了能够有效解决该方面问题，电力企业便开始对CPU、内存以及计算机硬盘等进行扩充和升级，但是这种方式虽然能够在一定程度上解决属性约简中数据规模和时效受硬件制约的问题，可却也提高了成本，会对电力企业的经济效益造成影响。而随着网络以及信息技术的不断发展，云计算技术的出现很好的解决了该方面所存在的问题，与传统网络以及计算机技术相比，利用云计算技术不仅能够提高对计算机硬件资源的有效应用，同时也全方面，大幅度提高了数据处理技术，为电力大数据预处理属性约简提供了科学有效的新途径 2 MapReduce在电力大数据预处理属性约简中的应用 MapReduce这种比较高效的并行编程模型，就能够很好的解决电力大数据预处理属性约简问题，如下，便是其中较具代表性的定义和定理： 定义1：假设电力知识表达系统为决策信息表S，S=（U，A，V，f），表中，U为对象集合，A=CυD，C为条件属性集，D为决策属性集，V为属性值集合，f为信息函数，并明确对象属性值 定义2：令P，QA，P∩Q=|，P是Q的正域，记posp（Q）=∪x| U/QPX，Count（posp（Q））表示P中所包含的元素个数 定理1：假设电力知识表达系统S=（U，A，V，f），P，QA，P∩Q=|，RP，Count（posR（Q））= Count（posp（Q））为posR（Q）= posp（Q）的充要条件； 必须性证明：因为posR（Q）= posp（Q），所以Q的P正域）与Q 的正域R相同，Count（posR（Q））= Count（posp（Q））； 充分性证明：通过反证法进行证明，即设posR（Q）= posp（Q）不成立，而因为RP，所以posR（Q）posp（Q），而因为posR（Q）= posp（Q）不成立，所以posR（Q）posp（Q），则Count（posR（Q））； （2）Reduce函数对来自不同节点map发送的key值相同的键值对序列，并对其相同等价类的个数进行计算 而利用Hadoop在对复杂任务进行处理的过程中，其重点在于增加任务数量，而非对map和Reduce函数的复杂性进行增强。因此，在基于云计算技术的电力大数据预处理属性约简中，针对性的设计了两个map，三个Reduce以及一个call_job函数，外带一个主程序，然后，再针对其具体需求，分别给出了相应算法，通过这些给出的算法，便能够对大数据预处理属性进行有效约简 与传统约简方式相比，基于云计算的约简方式，不仅解