GrldDaen 数据网格系统的设计与关键技术实现.pdfVIP

2003中国计算机大会 (CNCC2003) GridDaen数据网格系统的设计与关键技术实现’ 肖侬，黄斌，付伟，卢锡城 国防科学计算大学计算机学院湖南长沙 410073 摘要:科学计算领域中的科学数据呈现爆炸式增长，未来的 解决这个问题提供了一条有效的技术途径，它通过开发能够 科学计算将以数据为中心，数据网格计算技术成为解决复杂 集成网络上分布的多个数据集等资源，形成单一虚拟的数据 海ti科学数据的访问和管理的一种有效技术.我们设计和实 访问、管理和处理环境，为用户屏蔽底层异构的物理资源， 现的GridDaen数据网格系统，可以管理多个分布异构的存 建立分布海2:数据的一体化数据访问、存储、传输、管理与 储资源的数据。为用户提供统一的数据访问.本文重点介绍 服务架构. 了我们设计的数据网格系统体系结构，以及系统的设计原则 GridDaen是我们设计和实现的Gridoppen网格系统中 和目标，并讨论了系统主要关键技术的实现。 支持数据网格功能的系统部分，它集成各种数据文件存储系 关健词:网格:GridDaen;数据网格:Gridoppen 统，提供一个分布致据的统一无缝访问方式。GridDaen采 用分布多域联邦服务器和高可用技术，支持虚拟文件集合和 DesignandimplementationofdatagridsystemGridDaen 数据集合，支持系统的数据副本和Cache机制，以提高分布 Abstract:Scientificcomputinginthefuturewillbe 异构存储系统数据的访问性能。 data-centercomputingasscientificdataincreases 文章第二部分介绍数据网格发展现状和相关工作，第 explosively.Datagridcomputingbecomesaneffective 三部分介绍GridDaen数据网格系统的结构和框架，第四部 solutiontomanageandprocessmassivedata.GridDaen, 分给出其主要设计策略和关键技术实现。第五部分给出系统 adatagridsystem,isdesignedandimplementedto 的应用实例和使用界面，在最后对各个数据网格项目的分析 managedatastoredindifferentsitesandformatsand 和比较，并描述了系统的状态和将来的工作. provideuniformdataaccess.Thepaperintroduces architectureanddesignofourGridDaensystem,and 2.相关工作 describeskeytechniquesofthesystem 数据网格系统技术的发展非常迅速.对科学数据的访 Keywords: GridComputing:GridDaen:DataGrid: 问和管理成为众多项目的研究目标。欧洲数据网格 2【]的目 Gridoppen 标是以欧洲粒子中心(CERN)从Terabyte到Petabyte规模 数据为中心，为世界范围内分布的科研团体提供的数据分布 存储、传输和计算密集型分析处理的能力，以进行科学研究， 1. 前言 开展面向高能物理学、地球观侧、生物信息学等应用的研究 工作，研究内容主要包括:数据访问、数据副本管理、元数 由于技术的发展，现代大型科学工程研究、信息服务 据管理、数据安全、查询优化、资源调度和管理等，采用 和数字媒体应用中的数据呈爆炸式增长.应用数据从几十个