电力大数据高速存储及检索关键技术研究与应用.pdfVIP

测试工具与解决方案 2014.3 电力大数据高速存储及检索关键技术研究与应用 1 2 3 杨德胜 ,陈江江 ,张 明 （1.安徽南瑞继远软件有限公司,230088;2.江苏瑞中数据股份有限公司,210000 3.国网电力科学研究院,211100） 摘要 ：针对电力数据体量大、种类庞杂、横跨专业多等特点而引起的系统访问响应不及时的现状，本课题以生产、运营、营销、 管理等各环节业务需求为研究对象，通过分析产生系统性能问题的原因，以大规模数据存储、大规模数据检索、即时处理等技 术为基础，从电力大数据的访问特征、大数据高速存储、检索以及流计算即时处理等层面，研究面向电力大数据特征的高速存 储体系结构、索引体系结构以及流计算即时处理技术，实现电力大数据处理的原型系统并进行验证，补充和完善技术研究成 果，提升公司业务系统性能。 关键词 ：电力大数据 ；数据存储 ；数据检索 ；流计算 Power Big Data High speed Data Storage And Retrieval And App lication Of Key Technologies 1 2 3 Yang Desheng ,Chen Jiangjiang ,Zhang Ming (1.Anhui Nari Software Co.,LTD.,230088;2.China Realtime Database Co.,Ltd ,210000； 3.State Grid Electric Power Research Institute,211100) Abstract ： Large body of data for electricity,species complex,multi system access features across the p rofessional and timely response is not caused by the status quo,subject to the production,operations,mar keting,management and other aspects of the business requirements for the study,the analysis generated b y the system cause of performance problems in large-scale data storage,large-scale data retrieval,real- time processing technology,the characteristics of electric power from large data access,high-speed larg e data storage,retrieval and streaming realtime processing and other aspects of computing,big data rese arch for electricity characteristics of high-speed memory architectures,indexing architecture and real- time processing stream computing technology,a prototy