并行文件系统缓存技术研究.pdf

致谢 本论文的工作是在我的导师杨文考教授的悉心指导下完成的，杨文考教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两年来 杨文考老师对我的关心和指导。 杨文考教授悉心指导我们完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向杨文考老师表示衷心的谢意。 杨文考教授对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷 心的感谢。 衷心感谢侯典亚、李恩全师兄在生活和学习上给予我的帮助，让我在实验室 的生活学习倍感快乐，他们的建议指明了我的学习方向，增加了对学习的信心和 乐趣，同时是我学习到了不少知识。 在实验室工作及撰写论文期间，张光、王婧同学对我论文中的理论研究和系 统架构的研究工作给予了热情帮助，在此向他表达我的感激之情。 另外也感谢我的父母，还有我的哥哥，他们的理解和支持使我能够在学校专 心完成我的学业。 中文摘要 摘要：互联网技术的蓬勃发展，伴随着的是数据的日益膨胀，人们对数据的存储 要求也就越来越高了，许多应用系统的数据量都达到了PB级别，面对这些海量数 据，对存储系统的容量提出了巨大的挑战，如何能够实现对这些数据的快速有效 的存储成为当前存储技术的研究热点。当前衡量数据存储系统的性能好坏的几个 指标是系统性能、可用性、可扩展性和安全性。原有单一的简单存储文件系统已 不能满足现今的数据存储需要，并行文件系统以它具有的高扩展性、高性能、高 可用性和高安全性等优点，成为业内普遍采用的数据存储管理方式，而缓存技术 影响着文件系统对数据存储的速率，一个好的缓存技术能够在很大程度上提高系 统的性能。 本文在这样的背景下，对并行文件系统缓存技术进行研究，针对并行文件系 (InterMediate Caching 论文首先介绍了三种存储技术，阐述了它们的各自的特点区别和，接着对几 种经典的文件系统做了简要地介绍。然后分析了并行文件系统GlusterFS的系统架 GlusterFS服务器端。在设计的过程中，考虑了缓存替换和热点数据问题，与 别是网络接口层、系统控制层和数据存储层。网络接口层负责与客户端进行连接 并对连接进行管理，完成分析命令，处理命令，处理并发连接等功能。系统控制 层是整个缓存层的核心，包括负载均衡、数据管理和副本管理等功能，数据管理 负责完成对数据操作的控制，包括数据的添加、查询、更新等。副本管理的设计 是保证热点数据能够复制到其他备用的缓存节点上，以便当出现热点数据请求时， 能够实现一致性数据读取。数据存储层实现的是具体数据的存储问题，同时对数 据存放的时间设置了有效时间长度。 最后结合设计的系统框架进行系统搭建，并对该系统的性能进行相关的测试， 实验结果也表明，该缓存系统在提高并行文件系统GlusterFS的性能方面有所帮助。 图32个，参考文献56个 关键词：并行；分布式：文件系统；存储；缓存；GlusterFS 分类号：TP316．4 AB STRACT ABSTRACT：With the of Internet rapiddevelopment leadsthatthedata technology,it demandfordata growsincreasingly,and ismoreandmore storage critical，theamount ofdatain have many reachedPB theface applicationsystems level，in o