电力大数据检索方法研究-计算机技术专业论文.docx

万方数据 万方数据 Classified Index: TP391 U.D.C: 004.9 ELECTRIC POWER DATA RETRIEVAL METHOD RESEARCH Candidate： Sun Liqing Supervisor： Prof. Qu Zhaoyang Academic Degree Applied for： Master of Engineering Speciality： Computer Science and Technology Affiliation： School of information Engineering Date of Defence： Mar, 2016 Degree-Conferring-Institution： Northeast Dianli University 摘 要 摘 要 在电力系统中，随着电力行业数字化、信息化的发展，电网数据来源多元化、复杂化， 各种智能电表、传感器、信息系统等分布式数据源在发电、输电、配电、用电及调度、营 销等多个环节持续不断地产生大量数据，促使电力数据呈几何级数增长。这些数据是建设 稳定、可靠、高效智能电网的支撑性元素之一，它在揭示电力行业内部某些特有的规律的 同时，反映着社会的经济发展状况，还对企业的长远发展有至关重要的作用，是未来电力 发展的重要参考依据。本文主要对怎样利用数据分析技术在海量的电力数据中快速检索到 有价值的信息进行了研究和探索。 首先，分析了电力大数据检索的研究背景及意义，研究了当前国内外对电力大数据以 及其检索方法的研究现状，并归纳总结了电力系统中大数据的来源、数据特点以及关键技 术以及大数据检索方法和相关技术。 其次，提出一种基于流形排序的电网截面数据检索方法。针对电网数据数量大、维度 高的特点，考虑到在数据检索时多维度查询效率不高，检索结果无法多维度整体匹配的问 题。本文提出的基于流形排序的检索方法，将电网截面数据描述成多维向量空间中的对应 点，通过电力数据集的近似流形结构，使之与源查询之间具有较高的相关性，有效避免相 关性度量对高维数据查询处理的不足。 最后，构建一种适合电力数据特点的双层混合索引结构。考虑到电力数据中数据类型 复杂多样，字符型和数值型属性并存，构建基于 B+树以及倒排索引的双层混合索引，来 完成对电力数据的检索需求。为适合大规模数据的处理需求，在上述提出的索引结构基础 上实现索引的并行化，通过 Hadoop 平台在各个分节点计算机上构建本地索引，然后在主 机节点端构建主索引，通过主索引定位本地索引，有利于减少数据的查询时间，加快查询 速度。 关键词：大数据；电力大数据；数据检索；流形排序；索引 I II万方数据 II 万方数据 东北电力大学工程硕士学位论文 Abstract In the power system, with the digital and informational development of electric power industry, grid data sources diversified and complicated, A variety of distributed data sources are distributed in power generation, transmission, distribution, electricity and scheduling, marketing and other aspects, such as intelligent electric meter, sensor, information system which produce large amounts of data, prompting power data present the geometric progression growth. These data are one of the supporting elements to build a stable, reliable and efficient intelligent power grid. It not only reflects the characteristics of the internal laws of the industry, guide the power production and business management, but also reflects the development of economic and social conditions, is an important resource for the future