分布式数据库存储子系统设计与实现-计算机软件与理论专业论文.docx

万方数据 万方数据 DESIGN AND REALIZATION OF STORAGE SUBSYSTEM OF DISTRIBUTED RELATIONAL DATABASE A Master Thesis Submitted to University of Electronic Science and Technology of China Major: Computer Software and Theory Author: Peng Xie Advisor: Jianchuan Xing School : School of Computer Science Engineering 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 作者签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 摘 要 摘 要 移动互联网的普及使得互联网与人们的生活更加的密不可分。新出现的互联 网应用以及向互联网应用转变的传统的本地应用都面对同一个问题，即数据的存 储。如何存储海量数据并提供低延迟高可靠性的数据访问成为各个互联网企业急 需解决的问题。一方面，结构化数据存储作为数据存储中必不可少的需求，最适 合使用关系型数据库。另一方面，分布式存储具有低成本，高可靠性的特点。基 于此，分布式关系型数据库近年来成为研究的热点。 分布式关系型数据库是指系统架构上是分布式的，提供基于关系模型的结构 化数据存储的计算机软件系统。通过对课题相关的分布式理论、关系型数据库理 论及相关技术学习和研究，论文作者及所在团队成员基于传统关系型数据库开发 了高性能高可扩展的分布式关系数据库系统 CRDB。论文内容主要是关于作者在 项目中承担的分布式数据库存储子系统 LDB 的设计、实现及测试等工作。 作者设计了高性能的事件驱动框架使得系统可以同时进行多个任务，最大限 度利用网络和磁盘的 I/O 能力。通过设计任务管理模块，使任务按各自的状态机进 行，不会相互干扰。通过设计计时器模块使得系统可以为任务执行计时，从而可 以在限定的时间里响应用户，而不会进入长时间的阻塞，提高用户体验。对于有 磁盘 I/O 操作的访问数据库的操作，设计线程池来执行这些操作。并利用 Linux 提 供的 API，使任务的管理与事件驱动框架良好配合，从而实现了异步 I/O 访问磁盘。 系统使用数据库连接池访问数据库从而大大节约了与存储工具 Mysql 之间进行交 互的系统开销。对于跨结点的表的连接操作，系统可以灵活地根据执行计划提供 基于直连接算法和半连接算法的两种策略进行连接操作。 最后，论文对系统进行了功能测试和性能测试。功能测试结果表明，系统在 功能上完全符合分布式关系型数据库的要求。论文通过对性能测试结果进行分析， 认为系统的性能基本达到要求，并提出了一个可能的改进方案。 关键词：分布式系统，关系模型，异步 I/O，数据库系统 I ABSTRACT ABSTRACT The popularity of mobile Internet makes the Internet more inextricably linked with peoples lives. Emerging Internet applications and applications which are transformed from traditional local applications are facing the same problem of storing massive data. Finding a way to store huge amounts of data and providing low-latency high-reliability data access has become an urgent problem to