- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
PAGE
PAGE 1
概要设计说明书
目录
TOC \o 1-3 \h \z \u 1简介 1
1.1编写目的 1
1.2软件名称 1
1.3软件功能 1
1.4术语和缩略词 1
1.5参考资料 2
2总体设计 3
2.1需求规定 3
2.2运行环境 4
2.3基本设计概念和处理流程 4
2.4结构 5
2.5功能需求与程序的关系 5
2.6模块处理关键过程 5
2.6.1远程调用模块 5
2.6.2 存储管理 5
2.6.3 元数据管理 6
2.6.4 传输模块 6
2.6.5 监控管理模块 6
2.6.6 节点管理模块 7
2.6.7 副本生成与管理模块 7
2.6.8 垃圾文件管理模块 7
2.6.9 负载均衡模块 7
3 接口设计 8
3.1用户接口 8
3.2外部接口 8
3.3内部接口 8
4系统数据结构设计 9
4.1逻辑结构设计 9
4.2物理结构设计 9
4.2.1数据库设计 9
4.2.2配置文件设计 10
4.3数据结构与程序的关系 14
5系统出错处理 14
5.1出错信息 14
5.2补救措施 15
5.3系统维护设计 15
6尚需解决的问题 15
1简介
1.1编写目的
本文档系统地描述了存储服务器(v2.0)的设计要点,主要阅读对象为系统实现者、以及后期上层应用的开发者。
本文档的目的在于从概要设计的角度使系统开发人员和测试人员明确功能范围,可以有针对性的进行系统开发、测试、验收等各方面工作。
1.2软件名称
软件中文名称: 存储服务器(v2.0)
软件英文名称: JTang Storage Server(v2.0)
1.3软件功能
存储服务器提供可靠高效的文件存储,支持分布式的文件存储方式并支持大规模的并发访问,多副本的冗余策略使得服务器更高效、容错。
1.4术语和缩略词
元数据
描述数据的数据。文件(或目录)分为元数据和文件内容,元数据主要描述文件名、大小、属性等信息
命名空间
统一的作用域,在该作用域中,文件系统被唯一地组织成目录树结构提供给用户进行元数据的操作。命名空间维护虚拟文件路径(命名空间)和元数据之间的对应关系以及命名空间的一致性。在元数据服务器集群中,每台元数据服务器负责维护本地的命名空间、响应远程命名空间操作请求以及发送远程命名空间操作请求等。其中维护本地命名空间包括创建、修改、打开、删除文件或目录以及列出目录内容等。
MDS
MDS:MetaData Server,元数据服务器。主要负责存储、管理元数据以及节点间通信。
OSD
OSD:Object-Based Storage Device,基于对象的存储设备。对象存储允许访问数据的方式为存储的对象。存储对象是一个虚拟的实体,空间的存储对象是OSD本身内部分配的,而不是由一个基于主机的文件系统。 OSDs管理所有必要的低级别的存储空间管理和安全功能。 由于没有基于主机的数据的一个对象(如inode上的信息) ,唯一的办法申请检索的对象是使用它的对象标识符( OID )。
1.5参考资料
2总体设计
2.1需求规定
功能需求:
(1)文件存储基本功能,包括文件创建、上传、下载、删除等功能。
(2)多种文件传输协议,使用Http和Socket作为传输协议。
(3)系统监控配置功能,包括监控资源系使用情况(存储空间、连接数),配置服务器参数(端口号,存储路径)。
(4)存储服务器的分布式集群,即元数据服务器(MDS)与OSD分离形成单台MDS多台OSD的集群形式的分布式文件系统。
(5)文件多副本管理,对数据进行复制形成多个副本,数据的冗余使得系统更加安全以及高效,并且为负载均衡提供实现基础。
(6)垃圾文件管理,由于客户进行文件删除只是MDS上的逻辑删除,实际的数据文件依然存在于OSD端,垃圾文件管理将定时删除这些逻辑上已删除的文件。避免无用文件随着时间累积占据磁盘空间。
(7)负载均衡功能,根据系统的运行环境(例如,CPU、网络、磁盘空间大小等)进行选择OSD,从而避免了单台OSD的瓶颈。
(8)多个磁盘和目录存储的支持,
(9)命令行客户端,C语言客户端,
功能实现优先级:
功能
实现难度
优先级
备注
性能需求:
(1)单台元数据服务器支持1000个并发连接的元数据访问,平均响应时间不超过5s。
(2)单台存储服务器支持200个用户并发访问,每个用户平均传输速度50KB/s。
(3)多台存储服务器支持300个用户并发访问,每个用户平均传输速度150-200KB/s。
安全需求:
2.2运行环境
原创力文档


文档评论(0)