蓝鲸分布式文件系统的资源管理-计算机系统结构专业论文.docxVIP

图目录图1．1 图目录 图1．1 TOP500中按照体系结构分类的统计 图1．2混合网络存储的结构 4 图1．3网络存储系统的分类 5 图L4 Storage Tank的系统结构 6 图1．5 Lustre的系统结构 ． 7 图1．6 Panasas存储机群的体系结构 。 8 图1．7 CXFS的数据和元数据流 ． 8 图1．8DCFS的系统结构 9 图1．9蓝鲸大规模网络存储结构示意图 图2．1BWFS的总体结构 17 图2．2 DLRM的层次和功能调用 图2．4 BWFS的模块部署和通信 20 图2．5GLA和RG 21 图3．1 ext2／3的物理磁盘布局 。24 图3．2资源组的磁盘布局 ．27 图33位图块的数据结构 28 图3．4统计块的数据结构 28 图3．5位图块、统计块和超级块的树状统计关系 29 图3．6索引节点的三级指针位图模型 3l 图3．7索引节点位图块的数据结构 32 图3．8间接块的数据结构 33 图3．9超级块的数据结构 ．．．． 34 图4．1元数据的总体架构 38 IX 铊 铊 钳 铂 卯 醯 醌 ● 加 加 。72 。73 表目录表6．1蓝鲸分布式文件系统读性能 表目录 表6．1蓝鲸分布式文件系统读性能 ．55 表6．2蓝鲸分布式文件系统写性能 55 表7．1 BWFS、NFS大文件写的聚集带宽 67 ．；¨ 表7．2 BWFS、NFS大文件写的CPU利用率 表7．3 BWFS聚集写性能相对存储节点数量的加速比 表7．4 BWFS、NFS大文件读的聚集带宽 表7．5 BWFS、NFS大文件读的CPU利用率 67 表7．6 BWFS聚集读性能相对存储节点数量的加速比 表7．7解开内核源代码包消耗的时间 表7．8删除内核源代码目录树消耗的时间 表7．9解开内核源代码包的聚集吞吐率 表7．10删除内核源代码目录树的聚集吞吐率 。 69 表7．11编译内核源代码的耗时 ． 71 Ⅺ 声 声 明 我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，本论文中不包含 其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 轹童彳 吼丽。扣 论文版权使用授权书 本人授权中国科学院计算技术研究所可以保留并向国家有关部门或机 构送交本论文的复印件和电子文档，允许本论文被查阅和借阅，可以将本 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 I 扫描等复制手段保存、汇编本论文。 r- (保密论文在解密后适用本授权书。) 燃名曦彳 棒嗍椰肿 第一章引言从二十世纪四十年代世界上诞生第一台电子计算机开始，人类就在不断 第一章引言 从二十世纪四十年代世界上诞生第一台电子计算机开始，人类就在不断 使用信息技术改变着自身的生活生产方式，生产力获得了飞跃式提高。虽然 如今的信息技术已经获得了巨大成功，但是人们从来就没有停止过追求更高 性能的计算机，这种追求使得我们的信息技术仍在不断向前发展。 计算机技术的发展一直近似遵循着摩尔定律：计算机的性能每18个月翻 两番，而且摩尔定律似乎还会继续发挥作用。半导体技术使得计算机中央处 理器(CPU)的计算能力获得了巨大进步，网络技术使得计算gt2_间的通信 能力有了迅猛发展。但是由于受到机械部件的限制，计算机外部存储器性能 的发展速度远远落后于其它计算部件，造成了计算机系统的外部数据传输能 力与计算能力之间的巨大差距，也因此制约了计算机整体性能的发挥。 人们在认识到存储子系统对整个计算机系统性能发挥的重要性之后；不 断使用各种方式来提升存储系统本身的性能，也提出了各种新型的存储结构， 以期缓解计算能力与数据输入／输出能力方面的矛盾。蓝鲸大规模网络存储系 统以及其中包含的蓝鲸分布式文件系统就是在此背景下发展起来的。 本章首先介绍了目前高性能计算的发展趋势，随后总结了外部存储子系 统目前面临的诸多挑战，之后介绍了目前国内外关于分布式文件系统的一些 最新研究成果，最后介绍了蓝鲸大规模网络存储系统相关组成部分的概况。 1．1高性能计算的发展 TOPS00[1]是一个成立于1993的国际组织，致力于追踪和预测当今世界 高性能计算的发展趋势，每年都会发布两次世界上最高性能超级计算机的排 名。图1．1说明了按照体系结构分类的2004年11月发布的超级计算机前500 强的分布情况(如无特别说明，下文有关TOP500的数据均以2004年11月 的数据为准)。从图中我们可以看到采用机群(Cluster)结构的高性能计簋机 系统近几年来发展迅猛，从1998年11月仅有两台机群结构的超级计算机上 榜，到2000年11月的28台，到2002年11月的94台，再到如