一种基于hadoop的电力大数据属性实体识别算法-自然资源学报.pdfVIP

第44 卷 第24 期 电力系统保护与控制 Vol.44 No.24 2016 年 12月16 日 Power System Protection and Control Dec. 16, 2016 DOI: 10.7667/PSPC152053 一种基于 Hadoop 的电力大数据属性实体识别算法 1 1 1 2 齐 俊 ，曲朝阳 ，娄建楼 ，王 冲 (1.东北电力大学信息工程学院，吉林 吉林 132012； (2.国网内蒙古东部电力有限公司信息通信分公司，内蒙古 呼和浩特 010020) 摘要：随着大数据时代的来临，传统的实体识别技术由于电网数据体积大以及类型复杂等特性已经无法有效地进 行数据预处理。近年来兴起的 Hadoop 技术能够对大数据进行较好的处理。因此提出一种基于 Hadoop 的电力大数 据属性实体识别算法。该算法利用改进离散化算法选取出信息准确率较高的离散点，并提出了一种离散化评价指 标。最后，在 Hadoop 平台上对某风电机组的监测数据进行了属性实体识别。实验证明，该算法在实验正确性和 断点数目方面表现良好，并且具有较好的加速比，适用于电力大数据的属性实体识别处理。 关键词：电力大数据；实体识别；离散化算法；信息准确率 A kind of attribute entity recognition algorithm based on Hadoop for power big data 1 1 1 2 QI Jun , QU Zhaoyang , LOU Jianlou , WANG Chong (1. School of Information Science and Engineering, Northeast Dianli University, Jilin 132012, China; 2. Information Telecommunication Branch Company, State Grid East Inner Mongolia Electric Power Co., Ltd., Hohhot 010020, China) Abstract: With the coming of the era of big data, traditional entity recognition technologies have been unable to effectively finish data pre-processing because of the large scale of power grid data and volume complex type features. The rising of the Hadoop technologies in these years can deal with the big data processing better. Therefore this paper proposes a power big data entity recognition algorithm based on Hadoop. This algorithm uses the d