基于Spark框架的电力大数据清洗模型.docVIP

基于Spark框架的电力大数据清洗模型* 王冲 （国网内蒙古东部电力有限公司信息通信分公司，呼和浩特 010020） 摘要：针对电力大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题，提出了一种基于Spark框架的电力大数据清洗模型。首先基于改进CURE聚类算法获取正常簇；其次，实现了正常簇的边界样本获取方法，并设计了基于边界样本的异常识别算法；最后通过指数加权移动平均数实现了异常数据修正。通过对某风电场风力发电监测数据进行了数据清洗实验分析，验证了清洗模型的高效性、准确性。 关键词：电力大数据；数据清洗；异常识别；异常修正；Spark框架 中图分类号: TM93 文献标识码：B 文章编号：1001-1390（2016）00-0000-00 A data cleaning model for electric power big data based on park framework Wang Chong (Information Telecommunication Branch Company, State Grid East Inner Mongolia Electric Power Co., Ltd., Hohhot 010020, China) Abstract: Aiming at the difficulties of the extracting of the unified anomaly detection pattern and the low accuracy and continuity of the anomaly data correction in the process of the electrical power big data cleaning, the data cleaning model of the electrical power big data based on Spark framework is proposed. Firstly, the normal clusters and the corresponding boundary samples are obtained by the improved CURE clustering algorithm. Then, the anomaly data identification algorithm based on boundary samples is designed. Finally, the anomaly data modification is realized by using exponential weighting moving mean value. The high efficiency and accuracy are proved by the experiment of the data cleaning of the wind power generation monitoring data from the wind power station. Keywords: big data of electric power, data cleaning, anomaly identification, anomaly modification, Spark framework 0．引 言 电力大数据具有数量大、维度高，数据模式繁多等特征，在电力大数据的采集过程中，其不可避免的存在异常数据，对电力大数据清洗有很强的必要性[1]。国内外对电力大数据清洗研究主要有聚类和关联分析[2]、条件函数依赖[3]、马尔科夫模型[4]、DS证据理论[5]。大部分数据清洗技术都需要依赖数据模型本身构建异常数据识别规则，对检测到的异常数据做删除或均值填充处理，其缺点就是：破坏了数据的连续性、完整性、准确性。 针对以上电力大数据清洗难点，本文提出一种基于Spark框架的电力大数据清洗模型。相比一些电力大数据清洗模型，本文数据清洗模型减少人为干预，不需要根据数据关系模式设定识别规则，异常识别算法依赖于历史数据中的正常样本数据，且对异常数据修正是建立在其同一时间序列 数据分析的基础上，最终能够实现对历史或实时数据中的异常数据清洗。 1．基于Spark框架的电力大数据清洗模型 电力大数据清洗是对检测到的电力大数据中异常数据进行修正的过程，利用Spark框架构建电力大数据清洗模型时分为以下几个阶段：数据准备、正常簇样本获取、异常数据识别、异常数据修正、修正数据存储。数据准备即将存储在传统关系型数据库中的数据转存在适合于大数据处理的