ODPS平台下的电力设备监测大数据存储与并行处理方法.pdfVIP

2017年5月 电工技术学报 V01．32No．9 第32卷第9期 TRANSAC‘rioNSOFCHINAELECTROTECHNICALSOClETY Mav2017 ODPS平台下的电力设备监测大数据 存储与并行处理方法 朱永利 李 莉 宋亚奇 王刘旺 (华北电力大学控制与计算机工程学院 保定071003) 摘要 计算性能是制约电力大数据应用(基于大数据的故障诊断、预测等)的关键问题。利用分布 式存储、并行计算加速此类数据密集型应用是目前较有效的手段。尝试利用阿里云开放数据处理服务 为例，提出了适合高采样率、时序性强的局部放电信号数据存储方法。采用ODPS扩展MapReduce模型 法(ODPS—PRPD)，实现了大量PD信号的并行基本参数提取、统计特征计算与放电类型识别。在实验 行了性能评估和成本分析。实验分析和结果表明，ODPS—PRPD将大量的中间过程数据(PD谱图数据 等)一直保存在内存中，相比自建HadoopMapReduce平台性能明显提升，并在数据可靠性、服务可用 性以及成本方面具有明显优势。 关键词：电力大数据 公有云 开放数据处理服务 局部放电 局部放电 扩展MapReduce模型 相位图谱分析 中图分类号：TM764 andParallel of DataofPower Storage ProcessingBig Equipment ODPSPlatform Condition on Monitoring Zhu LiLi Yongli SongYaqiWangLiuwang ofControland NorthChinaElectricPower 071003 (School ComputerEngineering UniversityBaoding China) Abstract isoneofthe issues inthe of data， Computingperformance key existing applicationsbigpower suchasfault and and are astheeffective diagnosisprediction．Distributedstorageparallelcomputingcurrently to thedata—intensive describesan distributed service measuresaccelerate applications．Thispaper open processing Ali to andacceleratethe of dataabout used store (ODPS)fromCloud，is analyticprocessmonitoringbig electrical the resolved ofa equipment．Taking