关于数据网格体系结构的论文学习笔记.doc

关于数据网格体系结构的论文学习笔记 南京航空航天大学 计算机系 张海建 目 录 1. 数据网格：一个用于大型科学数据集的分布式管理与分析的体系结构（JNCApaper） 2 1.1 介绍 ………………………………………………………………………………………2 1.2 数据网格设计 2 1.3 核心数据网格服务 3 1.4 高层数据网格组件 5 2.用于分布式data-intensive科学的协议与服务（ACAT3） 7 2.1 协议、APIs、服务 7 2.2 数据传输协议：GridFTP 7 2.3拷贝管理 8 3.在高性能data-intensive计算中的安全有效的数据传输和拷贝管理（msc01） 9 3.1 Data-intensive Computing Requirements 9 3.2 Globus体系结构和数据管理 9 3.3 GridFTP：一个安全、有效数据传输机制 9 3.4 拷贝管理 11 数据网格：一个用于大型科学数据集的分布式管理与分析的体系结构（JNCApaper） 1.1 介绍 现在的科学计算需要大量的数据，在一些领域，比如全球气候变化，高性能物理等，它们所关注的数据已经成tb的增长，并且很快将达到pb级。这一领域的研究人员需要访问分析这些数据（经常使用一些复杂的并且昂贵的计算技术），但这些研究人员通常是在地理上是分布的，同样，他们的研究所以依赖的计算与存储资源也是分布的。 这种组合导致了现有的数据管理基础设施无法满足的复杂的，stringent性能要求。这种科学计算会产生大量查询，这些查询就会要求访问（或是超级计算级的计算）tb级的数据。有效而可靠的执行这些查询可能需要小心的管理tb级的缓存，在广域网上的gigabit数据传输，对数据传输和计算能力的合理调度，准确的性能估计用于指导数据拷贝的选择，和其他一些高级技术。这些技术使我们能极大限度的使用存储、网络、计算资源。 现在需要一种体系结构来帮助我们鉴别需求，通用于不同的系统的组件，并且把多种不同的技术整合在一起应用在pt级的data－intensive应用领域。 我们现在提出了一种体系结构，称作“数据网格”，我们的目标是定义需求（一个数据网格必须满足的）、（网格的实现所需要的）组件与APIs。 1.2 数据网格设计 有四个准则驱动了我们的数据网格体系机构的设计。 Mechanism neutrality： Policy neutrality： Compatibility with Grid infrastructure Uniformity of information infrastructure 根据这四个准则，我们定义了一个层次的体系结构，如下图： 1.3 核心数据网格服务 我们特别关注两个基础服务：数据访问和元数据访问。 数据访问服务提供了机制，用于访问、管理和初始化存储在存储系统中的第三方传输。 元数据访问服务提供了机制，用于访问、管理关于数据在存储系统中存储的信息。 1.3.1 存储系统与网格存储API 在一个网格环境中，数据可能被存储在不同的位置和有着不同特性的存储设备上。我们认为，应用不应该需要知道这些底层的机制就可以访问特定位置的数据。取而代之的是，我们应该提供给应用程序一致的数据视图，并且通过一致的方式访问数据。这种需求可以通过存储系统抽象和我们的网格存储API来满足，所有这些定义了我们的数据访问服务。 数据抽象：存储系统 我们介绍一个基本的数据网格组件：存储系统。我们定义存储系统是这样一个实体，可以被一个函数集合操作（创建、销毁、读、写），它（存储系统）可以操作称为文件实例（即命名的字节序列）的属性。 注意，我们定义的存储系统是一个逻辑设备：一个存储系统可以由许多存储技术实现。 我们定义的“文件实例”也是逻辑上的。一个存储系统持有数据，这些数据可能存储在文件系统、数据库或其他的系统中；我们不关心数据是如何存储的，我们只知道我们要处理的基本单元是一个命名的无间断的一串字节。文件实例并不意味着数据是存储在传统的文件系统中，比如：一个数据网格的实现可能采用象SRB这样的系统访问存储在数据库管理系统中的数据。 存储系统将要与文件实例结合在一起，每个文件实例包含一些属性包括名字，大小，访问限制等。文件实例的名字只对相应的存储系统有意义。 网格存储API 数据网格用户看到的一个存储系统的行为是由数据网格存储API定义的，数据网格存储API定义了对存储系统和文件实例的一系列操作。这里的API的功能还在完善，不过肯定应该包括对命名的文件实例的远程请求读/写，察看文件实例的属性（比如大小）。此外，为了支持拷贝管理服务的优化实现，我们要求一个第三方的传输操作，用来在不同