基于机器学习的电网设备档案数据异常诊断研究-电力信息与通信技术.PDF

ELECTRIC POWER ICT 中图分类号：TP312　文献标志码：A　文章编号：2095-641X(2018)07-0021-07　DOI：10.16543/j.2095-641x.electric.power.ict.2018.07.004 著录格式：龙婧 , 刘伟 , 殷胜 . 基于机器学习的电网设备档案数据异常诊断研究 [J]. 电力信息与通信技术 , 2018, 16(7): 21-27. 基于机器学习的 电网设备档案数据异常诊断研究 龙婧 ，刘伟 ，殷胜 （湖北华中电力科技开发有限责任公司 ，湖北 武汉 430000 ） Research on Abnormal Diagnosis for Power Grid Equipment Archival Data Based on Machine Learning LONG Jing , LIU Wei , YIN Sheng (Hubei Huazhong Electric Power Technology Development Co., Ltd., Wuhan 430000, China) 摘要：为 了对 电网设备档案数据 中无法提炼错误规则的数据 问题进行 自动诊断 ，提高数据质量 ，文章 利用大数据机器学 习技术 ，运用机器学 习算法 ，对数据进行 自动检测；基于 Spark 分布式 内存计算 ， 利用 K-Means 聚类算法对档案数据进行聚类训练 ，再对训练后数据进行分析和处理。试验证明 ，基 人 工 于本方法论形成 的 自动诊断工具能够大幅降低在数据治理工作 中的人力投入 ，减少工作量 ，降低 工 智 作成本 ，并且可以获得 比人力筛查更详细更准确的结果。 能 关键词：大数据；机器学 习；电网设备档案数据；数据异常；自动诊断 Abstract: In order to automatically diagnose the data problems that cannot be extracted from the error rules in the grid equipment archival data, based on big data technology, this paper used machine learning to automatically detect the data for such problems. Based on the distributed memory calculation of Spark, the K-Means clustering algorithm is used to cluster the archival data, and then the data after training are processed and analyzed. The automatic diagnosis tool based on this method can greatly reduce labor cost, workload and the cost of work, and achieve more detailed and accurate results than human screening. Key words: big data; machine learning; grid equipment archiving data; abnormal data; automatic