网格数据管理与数据发布.pptVIP

天津大学IBM中心 VO and Grid 数据管理与数据发布 陆鄂丰 天津大学IBM中心 outline VO vs. Grid 数据网格之数据管理 BATC数据发布系统原型演示 VO vs. Grid 天文观测能力 数据收集能力 VO vs. Grid VO vs. Grid VO vs. Grid VO vs. Grid 数据网格之数据管理 数据访问与集成 缓存管理 副本管理 数据传输 数据访问与集成 要对当前各种天文数据资源进行统一和整合，实现无缝透明访问，在网格环境中实现数据的访问与集成是首要问题。 其需要天文界制定一系列数据标准和元数据规范，更需要网格从硬件上对各种异构存储资源和数据库实现统一支持。 由UK Database Task Force 联合GGF DAIS-WG、Globus Team开发的OGSA-DAI便是一个实现对网格环境中各种异构存储资源和数据库系统进行集成和统一访问的中间件系统。 数据访问与集成 Goal of OGSA-DAI OGSA-DAI的目标就是为网格环境下数据的访问和集成提供统一的服务接口。即通过OGSA-DAI接口，可以将独立的异构数据库集成，使它们就象一个本地资源一样访问和控制。 数据访问与集成 一个简单的OGSA-DAI数据访问案例： 缓存管理 缓存技术已经被用来提高计算机存储系统的性能。对于需要从广域网络环境(比如网格)中获得大量数据文件的数据密集型应用来说，缓存机制能很大地提高数据访问性能。 在一个数据网格中，本地存储资源应该保留或缓存被本地应用程序所使用的数据文件。 缓存技术的性能很大程度上取决于它所采用的缓存替换策略。一个缓存替换策略用来高效地决定当需要空间时，哪个对象集合需要被删除。 和虚拟缓存页面以及数据库buffer里的缓存替换策略不一样，为数据网格开发一个优化的替换策略非常复杂，因为随着时间的变化，被缓存的文件对象的大小以及传输和处理开销都会变化。 缓存管理 副本管理 副本管理在数据网格中是一个研究热点，它能很大地提高网格环境中数据可获得性和容错性。 副本的基本思想是在不同地点存放数据的多个拷贝，这样当某个地点的数据丢失后可以很容易地恢复。而且，如果数据副本可以放在用户很容易访问到的地方，那么数据访问的性能将会极大地提高。 副本管理 副本系统涉及的几个主要问题： (1)副本创建 创建什么样的副本：文件副本，对象副本 何时创建副本 在哪创建副本 (2)副本选择 发现各个副本的物理位置 找出最优的一个副本 (3)副本删除 副本管理 副本系统应具有的属性： (1)动态性：需要时，副本可以动态的创建和删除。 (2)安全性：副本必须被安全地创建，以免信息泄露给第三方或是数据发生损坏。 (3)高效性：副本必须能通过适当的时间和资源迅速创建起来。 (4)适应性：副本处理要能够处理多种网络速度、异构存储资源、处理速度和失败。 (5)灵活性：副本应该能够灵活地加入或者离开网格。 (6)副本选择：在一个环境中，通常同一对象有多个副本可得，所以这时需要一个副本选择服务，主机利用它来选择一个合适的能够满足它服务需求的副本。 (7)副本一致性：在一个环境中，副本通常需要更新，不同程度的一致性以及更新频率需要被提供。 (8)扩展性：副本系统需要能够处理大量的副本，同时支持并发的副本创建。 副本管理 副本管理系统运行过程： (1)创建完整或部分的数据集的拷贝 (2)把这些拷贝在拷贝目录(replica catalog)中进行注册 (3)允许用户或应用程序在拷贝目录中对现有的拷贝进行查找，查找一个或多个件。 (4)基于存储和网络性能的估计，选择最好的拷贝进行访问。 副本管理 数据传输 数据网格中各种应用采用了很多种不同的存储系统，每个存储系统都用来满足存储、传输和获取大量数据的具体的需求。这些系统包括DPSS (Distributed-Parallel stor-age System )和和HPSS (High Performance Storage System),以及SRB (Storage Resource Broker )。其中DPSS,HPSS能够提供对数据的高速访问，并且利用并行数据传输来提高性能；SRB能够连接多种异构的资源，为存储仓库提供一个统一的用户接口，同时提供了一个元数据目录，以便对存储系统内的数据进行描述和定位。 但是，不幸的是这些存储系统通常采用不兼容的协议来访问数据，所以每个系统都需要采用它们自己的客户端才能使用。这些不兼容的协议和用户库极大地分割了网格上可用的数据。这样，当应用需要访问不同的存储系统内的数据时，就要采用不同的方法。这显然是低效的。 为此，Globus提出了GridFTP机制，它基