分布式结构化存储调度服务器的设计与实现-计算机技术专业论文.docx

万方数据 万方数据 THE DESIGN AND IMPLEMENTATION OF A DISTRIBUTED STRUCTRED STORAGE SCHEDULING SERVER A Thesis Submitted to University of Electronic Science and Technology of China Major: Computer Technology Author: Du Wei Advisor: Xing Jianchuan School of Computer Science School : Engineering 万方数据 万方数据 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 作者签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 万方数据 万方数据 万方数据 万方数据 摘 要 摘 要 随着互联网的快速普及以及用户量的剧增，越来越多的企业正在逐渐失去对 数据的控制能力，数据规模的快速增长，使传统数据库系统无法提供性能、可靠 性和扩展性的保证。云计算概念的提出为传统数据库的发展指明了新的方向。自 Google 于 2006 年首次正式提出云计算概念以来，经过 6 年发展，云计算的价值逐 渐被学术界和产业界认可，近年来已经成为 IT 技术发展的新趋势。云计算技术与 传统分布式存储技术结合，产生了新的云数据库服务模式，逐渐克服了传统数据 库扩展性差、管理复杂的缺点。将传统数据库技术、分布式存储技术以及云计算 技术结合，构造新的具有高性能、高可扩展性以及易于管理的云数据库系统已经 成为研究热点之一。 本文首先通过对现有 的云数据库系统的调 研和分析，提出了一 个基 于 shared-nothing 架构，并支持关系操作的云关系数据库框架 CRDB。CRDB 拥有独 立的元数据服务器、索引服务器和支持主流数据库协议的前端服务器，并基于轻 量级关系数据库引擎构建具有高可扩展性的结构化数据存储平台。然后，结合在 项目中的实际工作，论文详细描述了 CRDB 中的 DSS 调度服务器的核心功能的设 计与实现。整个 DSS 调度服务器主要工作和特点如下： 1. 支持标准 SQL 子集。结合项目需求，利用 Lex 和 Yacc 构建了一个 SQL 解 析器，实现了对基本的 SQL 操作的访问支持； 2. 设计具有并行性的分布式查询计划。借鉴 MapReduce 思想、SQL 语义以 及数据分布特点，设计了一个独立于查询语言和存储引擎的分布式查询计划表示 方式；根据 SQL 语句语法树，能够方便的将 SQL 转换成该分布式查询计划； 3. 支持高并发网络通信。基于单线程 Epoll、非阻塞 I/O 以及异步回调函数机 制，设计并实现了一个高性能网络通信框架，DSS 的所有业务流程都由该框架驱 动；同时，还设计一个了基于管道的定时器，为通信框架提供定时器服务； 本文详细分析 SQL 语法，构造了一个 SQL 子集解析器，并提出了一种分布式 查询计划表达方式，最后基于高性能网络通信框架，实现了一个分布式查询框架。 相关测试表明框架能够支持基本的 SQL 查询，但性能仍有待提高。 关键词：云数据库，SQL 解析，分布式，查询计划 I AB ABSTRACT ABSTRACT With the rapid popularization of the Internet and the increase of user quantity， more and more enterprises are gradually lose the ability to control the data. Traditional database systems cannot provide a guarantee of performance, reliability and scalability when the scale of data grows