基于Hadoop的数据资源管理平台设计.PDFVIP

第３５卷第７期　　　 计算机应用与软件 Ｖｏｌ３５Ｎｏ．７ ２０１８年７月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｌ．２０１８ 基于Ｈａｄｏｏｐ的数据资源管理平台设计 １ ２ 黄华林 　庞欣婷 １（广西电网有限责任公司　广西南宁５３００００） ２（广西第一工业学校　广西南宁５３００００） 摘　要　　海量电网状态监测数据的高效管理是智能电网建设中的关键问题。为此，在Ｈａｄｏｏｐ开源架构的基础 上，提出基于Ｈａｄｏｏｐ集群的海量数据分布式存储方法和基于ＭａｐＲｅｄｕｃｅ的海量数据检索算法，并设计基于Ｈａ ｄｏｏｐ的海量电网状态监测数据管理平台。测试结果表明，该平台具有分布式海量存储和高效数据检索的优势，适 合用于智能电网海量状态监测数据的存储与管理。 关键词　　智能电网　数据管理　Ｈａｄｏｏｐ　存储　检索 中图分类号　ＴＰ３９１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１８．０７．０５９ ＤＥＳＩＧＮＯＦＤＡＴＡＲＥＳＯＵＲＣＥＭＡＮＡＧＥＭＥＮＴＰＬＡＴＦＯＲＭＢＡＳＥＤＯＮＨＡＤＯＯＰ １ ２ ＨｕａｎｇＨｕａｌｉｎ　ＰａｎｇＸｉｎｔｉｎｇ １（ＧｕａｎｇｘｉＰｏｗｅｒＧｒｉｄＬｉｍｉｔｅｄＬｉａｂｉｌｉｔｙＣｏｍｐａｎｙ，Ｎａｎｎｉｎｇ５３００００，Ｇｕａｎｇｘｉ，Ｃｈｉｎａ） ２（ＧｕａｎｇｘｉＦｉｒｓｔＩｎｄｕｓｔｒｉａｌＳｃｈｏｏｌ，Ｎａｎｎｉｎｇ５３００００，Ｇｕａｎｇｘｉ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｈｅｅｆｆｉｃｉｅｎｔｍａｎａｇｅｍｅｎｔｏｆｍａｓｓｉｖｅｐｏｗｅｒｇｒｉｄｃｏｎｄｉｔｉｏｎｍｏｎｉｔｏｒｉｎｇｄａｔａｉｓｔｈｅｋｅｙｉｓｓｕｅｉｎｔｈｅ ｃｏｎｓｔｒｕｃｔｉｏｎｏｆｓｍａｒｔｇｒｉｄ．Ｔｈｅｒｅｆｏｒｅ，ｏｎｔｈｅｂａｓｉｓｏｆＨａｄｏｏｐｏｐｅｎｓｏｕｒｃｅａｒｃｈｉｔｅｃｔｕｒｅ，ｗｅｐｒｏｐｏｓｅｄａｍａｓｓｉｖｅｄａｔａ ｄｉｓｔｒｉｂｕｔｅｄｓｔｏｒａｇｅｍｅｔｈｏｄｂａｓｅｄｏｎＨａｄｏｏｐｃｌｕｓｔｅｒａｎｄａｍａｓｓｉｖｅｄａｔａｒｅｔｒｉｅｖａｌａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎＭａｐＲｅｄｕｃｅ．Ｗｅ ｄｅｓｉｇｎｅｄａｍａｎａｇｅｍｅｎｔｐｌａｔｆｏｒｍｆｏｒｍａｓｓｉｖｅｐｏｗｅｒｇｒｉｄｃｏｎｄｉｔｉｏｎｍｏｎｉｔｏｒｉｎｇｄａｔａｂａｓｅｄｏｎＨａｄｏｏｐ．Ｔｈｅｔｅｓｔｒｅｓｕｌｔｓ ｓｈｏｗｔｈａｔｔｈｅｐｌａｔｆｏｒｍｈａｓｔｈｅａｄｖａｎｔａｇｅｓｏｆｄｉｓｔｒｉｂｕｔｅｄｍａｓｓｓｔｏｒａｇｅａｎｄｅｆｆｉｃｉｅｎｔｄａｔａｒｅｔｒｉｅｖａｌ．Ｉｔｉｓｓｕｉｔａｂｌｅｆｏｒｔｈｅ ｓｔｏｒａｇｅａｎｄｍａｎａｇｅｍｅｎｔｏｆｍａｓｓｉｖｅｐｏｗｅｒｇｒｉｄｃｏｎｄｉｔｉｏｎｍｏｎｉｔｏｒｉｎｇｄａｔａｉｎｓｍａｒｔｇｒｉｄ． Ｋｅｙｗｏｒｄｓ　　Ｓｍａｒｔｐｏｗｅｒｇｒｉｄｓ　Ｄａｔａｍａｎａｇｅｍｅｎｔ　Ｈａｄｏｏｐ　Ｓｔｏｒａｇｅ　Ｒｅｔｒｉｅｖａｌ 电网状态监测数据的显著特点是数据规模大，且 ０　引　言 数据是由分布在不同地域的设备采集的，需要分布式 管理。Ｈａｄｏｏｐ是一个开源的云计算架构，具备可靠性 随着信息化时代的到来与人工智能技术的不断发 高、数据处理量大以及容错性高等优势，已经成为信息 展，世界各主要国家相继提出“智能电网”这一概念。 ［５－６］