面向海量异构历史数据查询的索引管理系统-软件工程专业毕业论文.docxVIP

国内图书分类号：TP311 学校代码：10213 国际图书分类号：621.3 密级：公开 工程硕士学位论文 面向海量异构历史数据查询的 索引管理系统 硕 士研究 生： 徐冰 导 师 ： 李全龙 副教授 副 导 师 ： 李磊 高级工程师 申 请 学 位 ： 工程硕士 学 科 ： 软件工程 所 在 单 位 ： 软件学院 答 辩 日 期 ： 2013 年 6 月 授予学位单位 ： 哈尔滨工业大学 Classified Index: TP311 U.D.C: 621.3 Dissertation for the Master’s Degree in Engineering THE INDEX MANAGEMENT SYSTEM FOR MASSIVE HETEROGENEOUS HISTORICAL DATA QUERYING Candidate： Xu Bing Supervisor： Prof.Li Quan Long Associate Supervisor: Senior Engineer Li Lei Academic Degree Applied for： Master of Engineering Speciality： Software Engineering Affiliation： School of Software Date of Defence： June，2013 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工学硕士学位论文 哈尔滨工业大学工学硕士学位论文 - - I - 摘 要 随着大数据时代的到来，海量数据每时每刻都在涌现并快速增长，并且数 据种类极为丰富。随着时间的流逝，这样的海量异构数据在顷刻间便会成为历 史数据而积累。在众多行业中，对于历史数据的查询业务量正在日趋增长，因 此海量异构历史数据查询平台的开发已成为各大软件公司的新兴开发目标。在 该混合查询平台之上，本索引管理系统的开发可有效地对该查询平台中各类索 引进行管理和维护，从而提升海量异构历史数据的查询效率。 本项目来源于本人在实习期间参与的混合数据查询平台的开发项目，该项 目目标是对公司数据库产品进行功能扩展，以支持海量异构数据的查询。期间 本人借助索引机制提出了对海量异构历史数据查询的效率提升方案，即索引管 理系统，本项目主要包括以下四部分内容。 索引管理系统的原理分析。对索引技术、DB2 和 MongoDB 数据库中的索 引类型及用法、Hybrid 架构等技术进行了原理介绍与分析，并对 JSONVal（） 这一混合查询函数进行了说明，并对索引建立与维护相关技术进行了整体分析。 索引管理系统的设计与开发。本文首先对混合索引的建立过程进行设计， 然后逐一对五大功能模块进行设计，其包括：SQL 解析模块、索引分析模块、 索引建立模块、Queryset 管理模块及索引维护模块。通过模块间的交互与合作， 实现了对用户查询语句的解析、对索引类型的分析、对不同数据库中不同种类 索引的建立、对 Queryset 的管理，以及对当前系统索引的维护等功能。本系统 采用 Java 编程语言进行系统实现，并选取 DB2 和 MongoDB 数据库实现异构数 据的持久化。此外，用户还可通过控制台界面对系统的各个功能进行操控。 索引管理系统的应用场景设计与开发。医生工作站是将本系统结合了医疗 场景的应用开发。在该场景中，可采用含有业务意义的查询语句，通过 SQL 及 SQL-like 的方式进行混合查询，并管理和维护该场景下的索引。 索引管理系统的性能测试。在医疗场景下，借助于场景中的具体查询业务 及相关数据，对索引系统进行性能测试，测试结果表明索引管理系统可大幅提 高数据查询效率，从而验证了该索引管理系统的有效性。 本项目开发于 IBM 中国开发中心完成，该项目来源真实，意义深远。最终， 本系统与医疗场景的结合验证了其性能和有效性，得到了实习公司的认可。 关键词：索引管理系统；海量数据查询；异构数据查询；历史数据查询； 查询效率 - - II - Abstract With the coming of big data era, huge amounts of data emerge and grow rapidly all the time. And the data formats are also rich in species. With time passing,such massive heterogeneous data will become historical data and accumulatedin an instant. In many i