集群环境中网格信息服务一个实现方案.docVIP

集群环境中网格信息服务一个实现方案 　　摘要：由于集群节点通常只有局部IP地址，集群通过主节点对外通信，无法满足工程应用和科学计算的要求；另外在网格应用中，常见的集群资源监控组件提供的信息量和信息种类还不够满足应用需求。为此提出并实现了扩展Globus MDS的解决方案。在曙光集群上的测试以及在面向多学科应用的模拟与可视化网格环境（MASSIVE）中的应用证明了该解决方案是可行的。 　　关键词：集群；网格信息服务；资源发现；资源监控；网格 　　中图分类号：TP39文献标志码：A 　　文章编号：1001－3695(2007)07－0276－03 　　 　　网格计算将大量、分布、动态、异构的资源组织起来整合在统一的框架中，为用户提供高效低价的计算和信息服务，以协同解决复杂的科学计算与工程应用问题。?? 　　MASSIVE（Multidisciplinary ApplicationS－oriented Simulation and Visualization Environment，面向多学科应用的模拟与可视化环境）[1]是浙江大学工程与科学计算研究中心（CESC）承担开发的网格项目。它将网格技术用于支持跨管理域的工程协作和科学计算。MASSIVE网格中，一个典型的应用过程为：用户在PC机上控制任务；CAD建模的模型数据通过网络传输到SGI Onyx 3900超级计算机进行几何网格划分；划分后的数据传输到曙光TC4000L微机集群完成并行求解计算，计算结果的可视化通过立体显示墙实现。在整个过程中，用到了多个分布的、异构的资源。这些资源包括PC机、工作站、集群、超级计算机、显示设备等。MASSIVE网格中的信息服务模块MEMDS[2]为网格应用和网格用户提供准确、方便、实时、高效的资源发现和监控服务。MASSIVE网格平台基于网格中间件GT2.4构建。在部署MASSIVE网格环境时，集群系统是一个难题。计算机集群是通过软件和硬件把多个计算节点连接起来的计算机系统，对用户而言，使用一个集群系统就像使用一台计算机一样。因此，在网格环境中将集群视为一个计算资源是合理的。MASSIVE环境中使用的曙光TC4000L集群为主从结构，从安全管理和易用性等方面考虑，集群只有首节点一个对外的IP地址，其余节点均为Local IP。针对这样的体系结构，在集群上配置网格环境时，将集群首节点配置成网格服务节点，集群其他节点则作为计算节点，并通过首节点来管理和调度。这种部署方式虽然符合集群作为一个计算资源的思想，方便了网格任务的执行，但在程序并行化、任务调度、资源监控等方面给网格应用带来了挑战。在MASSIVE中，本文通过对网格中间件的一系列修改、扩展来解决这些问题，介绍通过扩展Globus MDS的方法来实现集群中的网格信息服务。?? 　　 　　1集群环境中网格信息服务的分析?? 　　 　　要想实现网格任务在集群中的执行，在任务调度之前，信息服务必须提供集群整体的资源信息以及各个节点本身的详细信息；在任务执行过程中，信息服务也必须实时地提供资源变化和计算节点环境的各项信息。目前，很多集群的资源管理系统都能根据需要收集集群节点的信息，如PBS[3]、SGE[4]和Ganglia[5]等。然而，当集群作为一个网格计算资源时，这些软件并不能很好地满足计算网格中工程与科学计算的需求。原因主要有以下两点:?? 　　(1)这些软件提供的资源信息不够全面。不同的应用需要不同的资源信息，对网格环境有不同的要求。在MASSIVE网格应用中，除了通用资源发现服务提供的基本计算能力信息外，用户还必须获得应用程序运行和结果回收的其他相关信息，如网络信息、映射用户信息、可用目录信息、任务调度器信息、虚拟组织信息、可视化设备相关信息等。这些信息的提供需要定制的信息提供程序，并且这些程序应当符合原有的信息服务规范。因而，无论采用哪种集群资源监控方式都需要灵活易用的信息服务定制方式。在MASSIVE网格的信息服务MEMDS中，可通过用户自定义的信息服务组件来解决这个问题。?? 　　(2)与网格环境中其他管理域、其他类型的信息服务进行协作时实现困难。网格要求处于不同管理域的异构节点形成虚拟组织（VO）共同完成任务。网格信息服务必须为此提供统一、可兼容、一致的接口，使网格中的任一节点能获得所需的网格信息。无论集群利用何种信息服务工具，都必须能够与其他网格节点的信息服务协作。因而，笔者希望曙光集群的信息服务能与超级计算机、PC机、工作站上部署的MEMDS作为一个整体视图来提供信息。?? 　　基于以上两点考虑，同时考虑到MASSIVE中其他网格节点的信息服务工具为MEMDS（基于MDS实现），为了使集群信息服务与MEMDS具有一致的信息表示和访问方式，且能完整合理表