Turtle一种基于局域网络的分布式存储系统-软件工程专业论文.docxVIP

IV IV just want to provide an alternative which is free. We dont promise that we have an excellent performance but we promise that we have a high reliability. This paper detailed described the design and implementation of Turtle include application environment, architecture, name space management, file organization, data dispatch and file system interface. Finally it analyzes the reliability of Turtle. KEYWORDS: distributed storage system; server-less; data partition; redundant replica PAGE PAGE VI 目录 摘 要 II ABSTRACTIII 第一章 绪论 1 1.1 分布式存储现状 1 1.2 分布式存储技术简介 2 1.3 关于本文 4 第二章 分布式数据存储模型 5 2.1 引言 5 2.2 数据分布模型 6 2.2.1 定义 6 2.2.2 模型描述 8 2.2.3 分片之间独立的情形 9 2.2.4 分片相关的情形 12 2.2.5 数据分布的多面体视图 17 2.3 实际情形分析 18 2.4 本章小结 20 第三章 TURTLE 的系统设计 22 3.1 设计目标 22 3.1.1 环境描述与假设 22 TURTLE 实现原理简介 23 TURTLE 的实现机制 24 3.3.1 Turtle 的体系结构的选择 24 3.3.2 名字空间管理 29 3.3.3 文件组织形式 30 3.3.4 数据分发策略 31 3.4 本章小结 32 第四章 TURTLE 的实现与可靠性分析 34 4.1TURTLE 的层次化模型 34 4.2 底层通信协议 34 4.2.1 基本存储单元 35 4.2.2 主要服务端过程 36 4.3 数据的组织与放置 38 4.3.1 全局存储服务进程 38 4.3.2 节点服务进程 40 4.4 文件系统接口 43 4.4.1 FUSE(Filesystem in User Space )简介 44 4.4.2 Turtle 文件系统接口的实现 45 4.5 可靠性测试 48 4.6 本章小结 49 第五章 结论 50 5.1 未来工作 50 5.2 全文总结 50 参考文献 52 致 谢 54 攻读硕士学位期间已发表的学术论文 55 VII VII 插图清单 图 1 分布式条块化存储 6 图 2 二维分布模型 11 图 3 分片相关的分布方式 13 图 4 多维分布模型 14 图 5 恢复闭包计算流程 16 图 6 分布式存储的多面体视图 17 图 7 四面体分布 18 图 8 Turtle 的结构图 23 图 9 客户-服务器模型的多种组织结构(a)-(e) 26 图 10 Web 服务的横向分布式示例 27 图 11 Turtle 系统架构 28 图 12 Turtle 目录树 30 图 13 全局目录索引 31 图 14 Turtle 的系统层次 34 图 15 数据块大小对性能的影响 35 图 16 GSServer 流程图 40 图 17 Turtle-FUSE 的工作原理 44 图 18 Turtle 文件系统分布图 45 图 19 文件恢复概率图 49 PAGE PAGE 10 第一章 绪论 1.1 分布式存储现状 随着计算机网络的不断增长，计算机应用已经深入到了各行各业中，人们对 于在线存储的需求也越来越多。结果是越来越多的企业存在着持续的存储压力. 若干年来，市场见证了技术的不断创新，从更快的外设通道，到存储区域网 络(SAN)，最后到专门定制的软硬件存储系统。但是高昂设备费用让许多中小公司 望而却步。即使对于一些大公司来说也是一笔不小的费用。 随着Internet 的出现和普及，分布式数据存储技术发生了革命性的变化[1]。这 种变化主要表现在以下方面： 1、数据分布的地域空间更加广阔。Internet 是连接着全世界的网络，它的出 现使在世界任何地方的用户可能访问世界另一个角落的数据，这导致了数据存储 的地域空间空前扩大。同样，一个企业也可能使用I