globus中的数据管理.pptVIP

第五章 数据管理 龚 斌 山东大学计算机科学与技术学院 山东省高性能计算中心 Globus数据管理服务 / 数据管理服务 数据传和访问 GASS: Provides services mainly intended for use with GRAM (file staging, I/O redirection) GridFTP: Provides high-performance, reliable data transfer for modern WANs 数据复制和管理 复制目录: Provides a catalog service for keeping track of replicated datasets 复制管理: Provides services for creating and managing replicated datasets Globus－Gridftp 公共数据访问协议目的 已存在的分布数据存储系统 DPSS, HPSS: focus on high-performance access, utilize parallel data transfer, striping DFS: focus on high-volume usage, dataset replication, local caching SRB: connects heterogeneous data collections, uniform client interface, metadata queries 问题（ 协议不兼容、不公开，各自独立的客户端） 不兼容的协议和特性 Each require custom client Partitions available data sets and storage devices 每一个协议有所希望功能的一部分 需要公共安全有效的数据访问协议 公共可扩展的传输协议 意味着可以互操作 从存储服务中分离低级的传输机制 优点: 新的特殊的存储系统可以自动地和已经存在系统兼容 已经存在系统具有丰富的数据传输功能 和多个存储系统接口 HPSS, DPSS, file systems Plan for SRB integration Globus提出统一GridFTP协议 基于FTP 与大量已有工具兼容 已经支持不少数据网格需要的特征，容易扩展 普遍认可、理解与支持 已有的规范 RFC 949: File Transfer Protocol RFC 2228: FTP Security Extensions RFC 2389: Feature Negotiation for the File Transfer Protocol GridFTP包括什么？ 协议 协议实现的一套工具 GridFTP FTP，是FTP的超集，GridFTP不仅仅限于文件传输 GridFTP: 基本方法 从最通用的子集开始 Standard FTP: get/put etc., 3rd-party transfer 实现标准化但不经常使用的特性 GSS binding, extended directory listing, simple restart 多个方面的扩展，但保持与已存在服务器互操作能力 Striped/parallel data channels, partial file, automatic manual TCP buffer setting, progress monitoring, extended restart GridFTP的特点 互操作，可扩展 两个分离 底层数据传输机制和数据存储服务分开 将控制通道和数据通道分离 继承FTP的通用性和广泛性 FTP is defined by several IETF（Internet Engineering Task Force）RFCs GridFtp对FTP的扩展 安全GSI （Public-key-based Grid Security Infrastructure ) or Kerberos support (via GSS-API) GridFTP provides this capability by implementing the GSSAPI authentication mechanisms defined by RFC 2228, “FTP Security Extensions”. 第三方控制数据传输 a “third-party” user or application at one site to initiate, monitor and control a data trans