网格数据传输及相关服务研究.docVIP

网格数据传输及相关服务研究 　 欧佳凡，黄林鹏，孙永强 时间:2009年08月19日????????字 体: 大 中 小 关键词: ??? 摘? 要： 以当前最流行的网格环境Globus Toolkit为例，结合业界的最新进展，介绍了网格环境下的数据管理与传输，比较了与普通网络环境下数据传输的不同和突出的优势，并围绕传输机制介绍和讨论了相关的服务以及它们的关联，阐述了有网格特点的数据传输与管理方式，探讨了这方面进一步研究的发展方向。??? 关键词： 网格? 数据管理? 数据传输? GridFTP? RFT? RLS ? 1 GT4及其数据管理组件??? 在日新月异的计算机和通信设备的发展中，网格这一新兴的基础设施，正带来新的网络繁荣。??? Globus项目是美国多个组织共同对计算网格的构建进行的研究。从1997年发行的GT2（Globus Toolkit 2）开始，Globus被视为计算网格技术的典型代表和事实上的规范。图1是Globus联盟于2005年4月底发布的GT4.0的组件构成内容，新版本的Web服务组件将基于WSRF(Web Services Resource Framework)，且完全兼容Web Service标准；非Web服务组件也将服从各种标准规范，强调质量、鲁棒性、易用性及文档完备性[2]。本文将从整体的角度阐述最新版本的GT4中数据的管理及传输。 ? ??? 从图1可以看到，数据管理的重要地位，不仅在处理海量数据的数据网格，在数据管理尤其是数据传输更是占据着不可撼动的位置，而且它在计算网格和服务网格等领域也是至关重要的，数据以高效、可靠、方便地移动和复制关系到整个系统的效率。??? 数据管理的主要功能包括：数据的访问和控制，数据的拷贝和管理，以及与计算、网络和存储的协同调度。目前，GT中的数据管理主要包括：GridFTP、RFT（Reliable File Transfer）、RLS（Replica Location Service，代替了旧版本的Globus Replica Catalog和Globus Replica Management）、DRS(Data Replication Service，GT3.9.5即GT4 Beta版中新引入的服务）、OGSA-DAI等。本文将围绕数据传输，特别是GridFTP协议对以往协议的扩展和改进及其引申出的诸多数据传输与管理服务展开讨论。这些软件或服务相辅相成，构成了网格中不可或缺的数据管理部分。2? 数据传输——GridFTP协议??? 在模拟和传感器技术发展的推动下，数据集规模已经增长到TB数量级，而且PB级的数据量将很快问世。位于日内瓦的欧洲粒子研究中心(CERN)，目前正负电子对撞机(LEP)每年的数据是0.2~0.3TB，而几年内建成的紧凑μ介子螺线管(CMS)每年所产生的数据就将达到几个PB。网格中现有的存储系统如数量存储系统、高性能存储系统(DPSS、HPSS等)侧重于实现快速传送存储设备和并行机或群聚计算机之间的庞大文件；而分布式文件系统（DFS）则侧重于支持海量存储与负载平衡，而这些系统间并不兼容。??? 访问、分析和处理分布在不同逻辑位置、存储系统上的数据，应用程序要么选择只支持某些存储系统，要么使用多种方法来获取不同存储系统上的数据。若能提供一种在异构系统上的公共互用层将对存储和用户双方都非常有利，因此一个普通的、但扩展性强的数据传输协议呼之欲出。这样的机制比建立一个分层的客户端或网关要好得多，可以避免性能上的损失和过大的复杂性。??? Globus提出了GridFTP协议，该协议不仅拥有现今使用的数据传输协议的特点，还易于扩展，支持更多的存储系统。GridFTP基于FTP协议(因为FTP是最为广泛和实用的IETF标准协议)，又有多个RFC标准定义了FTP及其扩展，而且其中一些在网格环境中特别适用。下面将讨论并比较当前Internet和网格中依然存在的各种数据传输协议，并介绍Globus中GridFTP协议的实现和编程接口。2.1 协议比较??? (1)FTP(File Transfer Protocol)协议。专门用于数据传输的协议，它遵循RFC959，目标是促进文件共享(包括计算机程序和数据)；鼓励直接或通过程序使用远程计算机；可靠有效地传输数据。RFC959定义的文件传输协议被RFC2228、RFC2640、RFC2773等更新。其中，RFC2228是FTP的安全扩展；RFC2640对FTP进行了国际化；RFC2773是用KEA和SKIPJACK对文件传输加密。SFTP（Secure FTP）使用加密方式传输认证信息和数据，如果对网络安全性要求更高，则可以使用SFTP代替FTP，但它的传输效率比普通的FTP