1、高性能高适应性分布式文件服务器与实现浅析.doc

高性能高适应性分布式文件服务器研究与实现 随着科技的发展，计算机在从大型化走向小型化的同时，处理性能则按照摩尔定律飞速发展。另一方面随着计算机网络的发展及Internet技术的广泛应用，使得分布式系统应运而生。然而计算机系统的计算-I/O能力的差距一直在不断拉大。集成电路技术的快速发展使得 CPU 速度有了显著的提高，而磁盘等I/O设备由于受限于其机械部件的速度，相对而言其性能的改进要慢得多。最近几年，越来越多的并行/分布式系统由于同时采用多个CPU，使计算能力与I/O速度的不匹配问题变得更加严重。另外，计算能力的提高又产生了一批新型的计算机应用领域，如多媒体、可视化、具有重大挑战性的科学和工程计算问题、Web服务器、I/O密集型的数据库、弱连接环境下的计算、网络教学等，这些应用对 I/O 性能提出了更高的 要求，同时也表明应用呈现出对 I/O 需求永远增长的趋势。分布式文件服务系统的出现在一定的程度上缓解了二者之间越来越大的矛盾。 然而不管是传统分布式文件系统还是面向 Internet 的分布式文件系统，它们在可靠性、扩展性、易用性及性能等诸多方面都很难做到兼得。一些成功的分布式文件系统往往只能侧重于某些指标，而忽略其它的需求。如著名的 NFS 文件系统虽然在不牺牲太多性能的基础上，在跨平台能力及可靠性、易用性等方面获得成功，但它的应用方式过于单一，只能挂载到文件系统的树状结构中当作本地文件使用，无法胜任对日益复杂的网络应用环境以及海量数据的存储的需求。 另一方面，软件产业的发展以及“面向对象”技术的发展最终促成了软件构件的广泛运用。软件构件(也称软件组件)是软件系统内可标识的、符合某种标准要求的构成成分，类似于传统工业中的零部件。广义上讲，构件可以是需求分析、设计、代码、测试用例、文档或软件开发过程中的其它产品。狭义来说，一般指对外提供一组规约化接口的、符合一定标准的、可替换的软件系统的程序模块。通常情况下是指后者。利用构件开发应用软件只需要把现有的前人设计好的构件按我们的需求进行拼装即可。使用软件构件可以大大缩短软件的交付时间，提高软件质量，还能节约开发成本。 文章研究的目标就是以面向分布式计算环境下的文件存储系统为对象，思考当前文件服务器领域的现状及不足，研究构造一个模块化的分布式文件服务器系统所涉及到的理论和技术问题，提出高性能、高适应性的分布式文件服务器的设计思路。 1 分布式文件服务器简述 1.1 文件服务器 文件服务器是指在计算机网络环境中，所有用户都可访问的文件存储设备。专业的文件服务器比较复杂，它不仅要存储文件，而且还要在用户请求和改变文件时管理这些文件并保持这些文件的存储结构。文件服务器还需有较强的并发请求处理能力。因此文件服务器常常作为一种商业产品，是一台专门用来管理共享文件的计算机，包括处理器和控制软件，以及大容量的磁盘。 1.2 分布式技术 从 20 世纪 80 年代中期开始，技术上的两大进步改变了以往计算机应用研究完全依靠独立且昂贵主机的局面。首先是微处理器的出现和广泛应用，再加上相关半导体产业的飞速发展，使得个人电脑的处理能力得到大幅度提高。其次就是高速计算机网络的出现，使得互相连接起来的计算机之间可以实现高速信息传递。应用这两个技术飞跃，可以将大量的计算机系统通过告诉网络连接在一起，组成具有强大处理能力的硬件实体，它们被称为分布式系统。 分布式系统相比于集中式系统的优势，从技术上看分布式系统具有高可靠性和高处理能力，从经济上看分布式系统具有高性价比和高扩展能力。采用并行计算技术的分布式系统可以获得惊人的处理能力，可以在几小时内完成以往巨型机几年才能完成的计算量。而用于组件分布式系统的个人电脑或工作站的总价格要比同样性能的专用服务器或小型机便宜得多。分布式系统的规模可以动态变化，系统升级平滑且无需重开整个系统，而且不影响现有的用户服务。这些特点使得分布式系统被广泛运用于商业服务器领域。 1.3 分布式文件服务器的发展 将分布式技术运用到文件服务领域，就诞生了分布式文件服务。将连接在网络上的多个文件服务器通过某种管理方式对外提供统一的文件服务功能就是一种最常见的分布式文件服务器系统。分布式文件服务器已经成为过去的 20年里企业、机构维护海量电子文件信息的首选，以高性能网络为介质扩充存储容量，使用户可以像访问本地文件一样使用远程文件。 在早期的分布式系统中，人们使用被称为 DataComputer的系统，它支持类似于FTP一样的服务形式，用于那些没有大容量的本地存储系统的客户端。它在 1973 年底正式运行在PDP-10 系统上。Interim File Server 在 XEROR PARC 两年后出现，它能够在一个层次结构的目录中组织好公共的和私人的文件。在接下来的几年中，各式各样的分布式文件服