基于GT4网格文件系统研究及应用.docVIP

基于GT4网格文件系统研究及应用 　　近年来分布式得到了空前的发展，比如集群计算，移动计算，以及现在的网格计算，他们实质上都是分布式计算的发展。在实质应用中，人们要求具有高性能，高可靠，高可扩展的文件系统满足当今诸如生物计算，天气预报和流媒体等高吞吐率的应用。从现在的分布式文件系统，并行文件系统，集群文件系统来看，大部分采用的是同构特性。由于不同资源的文件系统是不同的，在网格环境下网格资源的共享就受到平台的限制，如单节点的文件系统与集群节点的文件系统间不能共享数据。 　　1、研究的内容 　　网格技术的发展总是与数据的管理为基础的，几乎所有业务流程都需要对数据进行共享或保护，进行可靠、快速的访问。GridFTP作为网格计算的一种底层数据传输协议，主要为上层服务提供数据传输功能支持。RFT通过数据库存储传输的状态、目的地等信息，提供可靠、永久、易调用的文件传输服务，能够进行断点续传等功能。RLS主要为客户提供副本的注册和定位服务，Globus中的RLS服务通过静态配置，在多个冗余的副本定位索引（RLI）节点间建立起一个分层的网络，从而确保服务的可靠性和负载平衡。 　　2、网格的概念 　　网格是借鉴电力网（Electric Power Grid）概念提出来的，网格的最终目的是希望用户在使用网格计算能力时，就如同现在使用电力一样方便。 　　中间件是介于操作系统（包括底层通信协议）和各种分布式应用程序之间的一个软件层，它建立分布式软件模式之间互操作的机制，屏蔽底层分布式环境的复杂性和异构性，为分布式应用程序的开发提供支持。 　　从功能上讲，GT4包括网格安全（Grid Security）、数据管理（Data Management）、执行管理（Execution Management）、信息服务（Information Services）和公共运行环境（Common Runtime）等5个部分组件集，组件种类分为Web服务组件和非Web服务组件两大类。 　　3、网格文件系统模型 　　3.1网格文件系统模型结构 　　针对网格环境下不同资源的文件系统不同，屏蔽网格环境下文件系统的异构性，即将网格环境下不同文件系统上的网格资源进行统一共享；同时考虑网格文件系统的访问效率。该文件系统具体的实现需要Globus中数据管理理论的支持：底层文件系统通过目录服务（RLS）向上层目录服务提供目录的动态更新，最后汇聚于元数据服务器（MDS）的RLS，由MDS向文件系统提供统一的目录服务；网格文件系统间的数据传输通过GridFTP、可靠文件传输（RFT）实现，这一过程需要涉及到传输的安全机制。 　　3.2网格目录服务 　　网格文件系统目录服务的最终目的就是通过逐层的汇聚，为网格文件系统提供一个统一的目录视图。在这一过程中为文件系统提供了两方面的支持：文件目录统一视图和副本文件提高文件系统性能。 　　3.3网格数据传输 　　当客户端用户进行网格计算时就需要访问文件系统中的数据资源，在实现文件系统的过程中编程实现GridFTP与RFT，使得程序能够跟随客户请求的触发，执行GridFTP或RFT文件传输，控制网格资源在网格文件系统的资源主机之间进行数据传输，完成网格文件系统中网格资源的动态分配。 　　4、网格文件系统设计 　　4.1设计思想 　　首先要实现不同主机间文件的传输，即要配置好提供存储服务的集群间GridFTP的传输控制，再设置针对传输要求的安全的CA认证机制，利用GridFTP的Java API，实现程序中控制本地主机接收远程主机文件的下载或向远程主机上传文件，同时完成控制三方文件传输的功能。然后，根据Globus中的副本位置索引服务，配置副本更新机制，通过Globus中RLS的接口在Java程序中完成文件索引的注册、检索及删除。 　　4.2设计目标 　　基于GT4的网格文件系统应达到下述设计要求： 　　（1）实现对用户透明的网格Portal界面，用户可远程访问文件系统。（2）在客户端，用户能够同时下载多个私有文件到客户端主机。（3）客户端用户能够上传本地文件到共享目录或到用户的私有目录。（4）管理员能够删除共享目录中的文件，而用户只有访问权限。（5）普通用户能够访问、删除自己的私有用户中的文件，其他用户无权限。（6）默认的文件的具体存储路径及文件的副本数目对用户是透明的。（7）所有用户可控制文件在两台主机间传输。 　　4.3系统模块设计 　　基于GT4的网格文件系统主要是为实现网格文件系统内部网格资源共享与传输等操作、对用户提供面向界面执行操作的开发目的，将最终的网格文件系统资源以网格Portal的形式把聚合，提供给用户一个统一的界面，用户可进行文件的上传、下载等具体的操作与文件系统交互。 　　文件列表是