机群文件系统性能与正确性研究-计算机系统结构专业论文.docxVIP

————————————————————————————————————————————————————————————一一 ————————————————————————————————————————————————————————————一一丝垩—— 摘要 计算机存储系统，特别是相对慢速的外存储系统一直是影响计算机整体性能的 “瓶颈”。目前，机群系统已经逐渐成为超级计算机与超级服务器的主流结构，但外 存储系统仍然是它进一步提高性能与可靠性的主要障碍。近年来，随着网络技术的飞 速发展，基于机群节点间高速互连网络的机群文件系统已成为解决机群外存储系统问 题的有效策略之一。【然而在机群系统中，不同类型应用在文件存取性能及语义需求等 方面存在较大的差异，如何为具有不同需求的应用提供足够的文件I，O性能，并保证 其文件存取操作的正确执行已成为机群文件系统设计的关键问题。卜7—一 ‘／ 本文结合曙光机群文件系统DcFs的设计与实现，对如何有效提高机群文件系统 性能、保证应用的正确执行方面进行了较有成效的研究，主要内容包括：以C0sMos 文件系统为原型系统，研究了机群文件系统中通信子系统对整体性能的影响；研究了 机群文件系统结构优化对元数据操作的性能影响；以支持瑚PI-Io并行计算为目标， 研究了在支持客户端缓存情况下，如何实现文件系统客户端缓存一致性语义的协议。 l具体研究成果如下： (1)首次提出并发带宽利用率的概念，以量化的方式来评价系统整体效率与服 务器外存储子系统及节点间通信机制间的关系，有助于人们更加合理地设计与部署机 群文件系统。 (2)提出了改善并发带宽利用率的一些策略，在基于曙光3000的机群文件系统 原型中，着重研究了通信子系统对并发带宽利用率的影响。在原型系统中应用了基于 M蜘net高速交换网络的精简通信协议BcL一3，性能测试的结果表明，相对于使用 EtIlemet网络与TcP，P协议的系统，机群文件系统客户节点文件I，O带宽得到了显著 提高，系统并发带宽利用率从40％以下提高到了90％左右。 (3)提出了FPLs及FPLS+路径解析优化协议，通过调整元数据分布结构以及 改进客户节点核心路径解析操作算法，来提高信息服务类应用中大量元数据存取操作 性能。 模拟实验结果表明，在最佳情况下，新型路径解析协议可将路径查找时间减少到 普通路径解析协议所用时间的20．2％。 (4)提出了一种可直接操纵文件系统客户端缓存的扩展文件锁协议。 这种协议可以使机群文件系统在支持客户端缓存的情况下，能满足并行计算应用 接口MPI—Io对底层文件系统的并发共享文件I，O的语义需求。与一些现有系统中的 袱觌锵舭总撇贿觯聪僦氘才厂一 关键词墼壁丕篓 机群j兰!瞵统妞登适信系统 并发共享文件∞ ，—，__。。——～，‘____●__√”—一1’。。“一，-_●-——————————-一一 —————————————————————————————————————————————————一 —————————————————————————————————————————————————一垒!壁!兰! 一 Research on ImprOving Performance and COrrectness Of Network FiIe System He Jin(Computer Architecture) Directed by Professor Xu Zhiwel computer storage system，especially the slowest penpheral storage system has been the bonleneck which heav订y infIuenced the perfomance of computer system．Currentl ythe cluster system has become the mainstream architecture of supercomputers and superServerS， but peripheraI storage system st川played a11 imponant role stunting the impmVement of the perfo肌ance and stabi】ity of modem computer systems．with the hi曲 speed development of network technology in rccent years，the cluster filesystem based on the hi2h—speed interconnect n