网格计算论文.doc

网格之数据管理 中文摘要：网格是把 地理位置上分散的资源集成起来的一种基础设施。网格上的资源包括计算机、集群、计算机池、仪器、设备、传感器、存储设施、数据、软件等实体，另外，这些实体工作时需要的相关软件和数据也属于网格资源。数据是网格中的一种重要资源，具有可复制、可移动、可压缩、可加密等特性。网格上许多数据的数据量非常大，且通常为分布式存储，需要专门的管理机制来管理网格上的数据，如数据传输、数据存储、副本管理等。 关键词：数据管理；数据资源；缓存；数据传输；副本； 1 网格概述 网格是把地理位置上分散的资源集成起来的一种基础设施。通过这种基础设施，用户不需要了解这个基础设施上资源的具体细节就可以使用自己需要的资源。分布式资源和通信网络是网格的物理基础，网格上的资源包括计算机、集群、计算机池、仪器、设备、传感器、存储设施、数据、软件等实体，另外，这些实体工作时需要的相关软件和数据也属于网格资源。《网格：一种未来计算基础设施蓝图》[1]一书中把网格描述为：“网格是构筑在互联网上的一组新兴技术，它将高速互联网、计算机、大型数据库、传感器、远程设备等融为一体，为科技人员和普通老百姓提供更多的资源、功能和服务。 2 网格中的数据管理 众多的科学和工程应用计算都需要处理大量的数据，需要处理的数据量级可达1012 B 或1015 B 数量级。像天气预报的计算、飞机模型的计算、流场计算等领域都是把连续变量离散化，用差商来代替微商进行计算的。计算问题的精度要求越高，变量离散的区间越小，计算的数据量也就越大。这类问题的求解一般都需要访问和存储大量的数据。 应用领域中不仅一个程序需要访问大量的数据，不同的程序之间也需要传输大量的数据。常见的数据分析应用程序和可视化显示的应用程序需要访问在地理位置上分布的大量数据，其数据量达到了109 B 甚至1012 B 数量级。 虽然数据也是一种资源，但它有自己不同于其他资源的特点。 ① 其他资源的用途由资源提供者或资源本身的构造来决定，但数据资源在访问控制权限许可的情况下，其用途由数据请求者决定，应用可以对数据可视化，也可以对数据加密，还可以进行过滤和统计等其他处理。 ② 数据资源具有可无限复制的特点。合法用户发送一个请求，一份数据就可以被复制成请求指定的多个备份，这个操作只需要得到管理机构的许可，几乎不需要什么代价。 ③ 数据可以创建副本。当一个用户请求该数据时，网格管理机构需要在原始数据以及它的多个备份中间选择一个合适的数据副本提供给用户使用。 ④ 数据资源可以被缓存，其他资源则不可以。用户被授权使用一个数据资源时，可以在本地或距离使用点近的范围中缓存该资源，当以后需要再次使用该资源时，只要访问本地缓存的该资源就可以了。 ⑤ 一个数据集可以存放在不同的地方，即在地理位置上是分布的，但是用户看到的是一个整体。用户请求使用时，仍然当做一个资源来请求，网格管理机构要把分散在不同地理位置的各个部分合理地组织起来交给用户使用。 由于数据有别于其他资源的这些特殊性，各种通用的资源管理模块所具有的功能不能很好地管理数据，因此需要有专门管理数据的机构，以便在网格下更好地使用这些数据资源。 以“科学计算实例”中的需求说明网格中需要哪些特殊的数据管理功能： ① 文件传输。把weather.exe 和data.dat 等文件传输到目标节点上。data.dat 可能是一个很大的数据文件，按照不同的传输方式需要较长的传输时间，因此需要网格的数据管理能够提供并行传输功能，以便快速完成数据传输。 ② 副本选择和管理功能。数据文件public.dat 是一个公用的数据文件，许多用户都要访问。为了避免单点故障，也为了降低访问阻塞，提高访问效率，需要根据访问情况创建数据副本，由于数据副本的存在，就需要副本选择和管理功能。 ③ 远程文件访问。由于public.dat 或output.dat 容量很大，不能存储在处理程序运行的本地节点上，需要网格提供直接远程访问数据文件的功能。 3 数据管理的内容 3.1数据传输 在网格环境下，不同的应用需要不同质量的数据传输支持。有的应用需要容错传输，有的应用需要并行传输。特别地，以文件形式存储的数据需要支持部分传输，以避免只需要一个文件中的一部分数据而把整个文件传输过去的通信资源浪费。 并行传输：为了将数据从一个节点传输到另一个节点上，可以建立多个数据连接，在不同的数据通道上传输文件的不同部分，把文件并行传输到目的节点上，这种数据传输方式称为并行传输。 容错传输：容错传输是在一对通信节点之间建立多条数据连接，同时传输数据，但每条数据通道上传输的内容是相同的，一旦某条通路出现传输错误，就启用从其他通路传输到目的节点的备份数据，不需要重新传输。 第三方控制的传输：在网格的任何位置上，一个活动的实体都可以合法