用于电力大数据快速组合查询的动态索引技术.pdfVIP

产品与解决方案 用于电力大数据快速组合查询的 动态索引技术 栾开宁1 郑海雁2 丁 陈3 李昆明2 (1．江苏省电力公司，南京210024； 2．江苏方天电力技术有限公司，南京 211102； 3．上海晟淘大数据科技有限公司，上海 200433) 摘要 随着采集系统的建成与完善，电力系统积累了大量的电力数据，电力大数据时代也随 之到来。虽然Hadoop可以通过普通计算机的横向扩展把处理压力分摊给每台计算机从而获得高效 的处理性能，但是当每台计算机存储的数据量都非常大时，简单的逐行扫描已经无法满足性能需 求，建立高效的索引机制和快速的组合查询功能就变得非常重要。因此本文结合Jimo大数据的动 态可删节索引技术，提出一种适用于电力大数据的索引机制与查询方法，并构建了电力大数据高 效索引与快速组合查询的一体化解决方案。实际的计算分析表明，本文算法极大地提升了电力大 数据的组合查询效率，很好地满足了系统的性能需求。 关键词：电力大数据；高效索引；快速组合查询；动态可删节索引 随着电力系统数字化进程的推进，电力系统积 累了大量的发、输、用电数据。目前仪江苏省用电 信息系统历年保存下来的全省用电信息数据已达到 在用电大数据中，这样的概括同样适用。 几十TB，如何利用现有的大数据分析技术，挖掘电 体量大。目前为止江苏省用电采集系统投入运 力大数据的潜在价值，使电力企、№为客户提供更好 行140余万台采集终端，120余万集抄终端，覆盖 的服务，是一个值得研究的课题。而2013年《中国3400余万用，。。仅上采集一项日产生数据量达30 电力大数据发展白皮书》…的发布，将【}j国的电力 多GB，自2006年以来，积累下来的数据已达40TB 大数据研究推向了一个新的起点，对-}J国电力大数 之多。在构建基于气象因素的用电影响因素模型时， 据的研究与应用有着划时代的意义。 经多轮次数据验证、调整、重算，生成江苏省13个 地市8000多类，300多万条模型数据，预计未来各 目前比较常见的火数据解决方案为Hadoop+ HBase【2J，该解决方案通过搭建分布式处理软件框架 模型反映的总电量影响关系将超过2亿条。 和分布式存储系统[3‘4]，实现大数据的分布式存储和 类型多。从数据本身结构来看，用电数据类型包 括结构化数据、半结构化数据和非结构化数据。从业 查询。HBase是按Rowkey进行排序和存储的，在 进行数据查询时需要对数据块按行检索，查询速度 务角度来看，用电数据涉及不同用户群体、不同行业 远无法满足实时的需求。 领域、不同电气指标等。未来，当所有的大中型家用 Index 本文提卜H采用动态索引图(Dnamic Graph，电器都装有电量传感器之后，用电数据类型将得到极 DIG)技术建立电力大数据的索引，实现多条件列大地扩展，也更加便于电力企业分析和研究用户的用 索引的建立和快速组合查询，它通过建、L索引图为 电结构，为用户提出更加合理的用电建议。 每个查询专门创建复合索引，避免了全表逐行扫描， 速度快。在采集端，目前3400余万居民用户每 大大提升了查询的速度。 日取一次电量数据、20余万企业用户每15min取一 次电量数据，在未来将要求所有用户15min、lmin， 1 用电大数据的特征