分布式结构化存储网关子系统的设计与实现-计算机系统结构专业论文.docx

摘 摘 要 I I 摘 要 信息时代高速发展的今天，互联网深入到人们生活的各个领域，各种新型的 应用层出不穷，每天需要存储大量的数据以及应用需要访问大量的数据。存储内 容和访问需求同时急剧增长，使得数据资源集中存储的单节点服务器已经无法满 足用户对服务质量所提出的要求。如何为用户以及上层应用提供高可靠性、高性 能和高扩展的分布式存储服务，是当前讨论的热点问题。 分布式结构化存储是指底层存储采用分布式的方式构建，提供给用户操作使 用单机结构化存储的体验。通过对目前分布式存储技术的研究，我们开发了基于 多节点的面向结构化数据的分布式存储系统。 本文通过对现有的存储技术和相关云数据库系统的调研分析，提出了一个基 于分库分表的多节点存储架构，并支持关系操作的云数据库系统 DRDS。本文详细 描述了 DRDS 系统框架中的网关子系统的设计思想以及功能实现。 论文的主要研究工作包含以下几点： 1、 设计了一个分布式存储系统。利用分布式原理，将存储框架构建在多个存 储节点上，将对数据的操作分割成多个独立子操作，分别由系统中各个独 立的服务节点完成对应的子操作。 2、 详细分析了 SQL 语法，构建了一个 SQL 子集解析器，结合数据表的分布 信息，构建分布式查询计划，并对分布式查询做了优化。对分布式事务进 行了详细的分析，并结合实际情况设计了对分布式事务的支持方案。 3、 高并发的网络通信框架的设计实现。针对本系统设计实现 了一个基于 Linux 系统提供的 Epoll 多路复用机制的底层高性能网络通信框架，该框 架为非阻塞 I/O 通信模型，支持大并发的连接访问，并做到了底层通信和 上层业务的分离。 通过功能测试和压力测试的数据表明，整个结构化存储系统的功能完整，能 够正常运行，且能在较为合理的时延下完成大规模数据的存储访问。 关键词：分布式，结构化存储，分库分表，Epoll 通信 ABSTRACT ABSTRACT II II ABSTRACT With rapid development of information age today, the Internet gradually penetrates into every aspect of peoples life. Accordingly, all kinds of new applications emerge one after another, which will produce huge amounts of data every day. Due to the rapid growth of data coming from both storage contents and access requirements at the same time, the data storage system based on the single-node server cannot satisfy the user needs anymore. So it is a hot issue at present that how to provide a high-reliability, high-performance and high-scalability distributed storage service for the user and upper applications. Distributed structured storage is a system which uses distributed method to construct the underlying storage, but it provides users an efficient experience like operating in a single-node environment. By studying the current distributed storage technology, we have developed the distributed storage system based on multi-node for structured data. By analyzing the existing storage technology and related cloud database system, this thesis comes up with a multi-node storage architecture named DRDS. This system is based on database-sharing and support