分布式数据库中间件中的查询优化-计算机科学与技术专业论文.docx

万方数据 万方数据 东华大学学位论文版权使用授权书 学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允 许论文被查阅或借阅。本人授权东华大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复 制手段保存和汇编本学位论文。 保密 □，在 年解密后适用本版权书。 本学位论文属于 不保密 □。 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 东华大学硕士研究生学位论文 东华大学硕士研究生学位论文 分布式数据库中间件中的查询优化 摘 要 伴随着数据规模的急剧增长，集中式数据库在存储和计算等方面 的局限性日趋显著，数据管理向分布式发展已成为趋势。为了对目前 广泛应用的 MySQL、PostGreSQL 等开源数据库提供分布式支持， Amoeba、Cobar、MyCat 等一系列数据库中间件应运而生，这些分布 式数据库中间件为用户提供了透明的构建数据库集群的方案，能够平 滑的将现有单机集中式数据库和应用迁移到“云”端。然而分布式数 据库中间件目前发展尚不够完善，在包含连接、子查询等操作的复杂 查询及针对增量数据集的分析查询中，性能较为低下，很大程度上的 影响了分布式数据库中间件的推广和应用。针对上述问题，本文进行 了如下研究： 首先，论文阐述了分布式数据库中间件等相关概念，对分布式数 据查询优化的发展历程和国内外关于分布式数据库性能优化研究进 行了概述和总结，介绍了数据分片的概念和相关技术。本文从分布式 数据库中间件的查询模式出发，分析了分布式数据库中间件查询优化 的目标及途径等关键问题。 然后，为减少连接、子查询等查询过程中的数据传输量，论文提 出一种基于关系的分布式数据分片方法，其主要策略是构建数据集的 依赖模型图，然后依据起始表的主键对数据进行分片，其他表参照起 I 始表根据连接键进行相应的数据分片，分片尽可能的保证对于所有查 询数据是本地化的。论文也对分片过程中的存储、查询等诸多细节进 行了详细探讨，并在开源分布式数据库中间件 MyCat 上，分别使用 TPC-H 数据集和 SSB 数据集对本文提出的方法进行了实验。通过对 比和分析，验证了本文的方法能够有效的减少分布式数据库中查询操 作的数据传输量,提高系统查询效率。 最后，本文基于分布式数据库中间件，提出了一种增量更新数据 的查询优化策略来减少单个数据节点的查询执行时间。通过存储历史 查询记录和历史结果集，结合数据表的增量更新记录，对同一查询操 作仅计算其增量结果集，通过数据节点上的结果合并和分布式数据库 中间件中的结果合并生成最终结果。为了减少系统耦合，本文利用本 地数据库节点管理查询日志和历史结果，使用分布式数据库中间件控 制查询的分解和结果的生成。论文定量分析了该方法的有效性并通过 在 TPC-H 数据集中进行了增量更新的查询操作，验证了本文方法的 有效性和分布式数据库中间件查询性能的提升。 关键词：数据库中间件；查询优化；分布式数据管理；数据分片；增 量查询； II QUERY OPTIMIZATION IN DATABASE DISTRIBUTED MIDDLEWARE ABSTRACT As the explosive increase of information, the scales of the data to be processed become large and large. The shortage of storage and computing in traditional database is become more and more remarkable. Distributed structure has become an inevitable trend of data management. In order to provide distributed support to the MySQL、PostGreSQL and other widely used open source database, Amoeba、Cobar、MyCat and a series of distribute database middleware came into being. These middleware provides a solution for user to build a distributed database cluster and migrate stand-alone database and applications to the cloud. It will become to a