香港大学网格节点项目进展报告.doc

“香港大学网格节点”项目进展报告 2004年11月28日 “香港大学网格节点”项目于2002年10月24日启动，香港大学计算机系系统研究组，联同中国科学院计算技术研究所课题组，经过两年多的努力，在课题的研究和开发方面，均取得了可喜的进展。下文主要汇报香港大学计算机系系统研究组所做的工作和取得的进展。 一、硬件平台的搭建与网格节点的连通 我组在2002年10月底搭建了一台拥有300个计算节点的大型集群Gideon 300 Cluster。计算节点是标准的联想个人电脑，拥有2GHz主频的处理器、512MB内存和40GB硬盘。300个节点用一个312口的百兆以太网交换机连接起来，彼此可以做快速的通信。整个集群的峰值计算速度达到每秒12000亿次浮点运算，在2002年11月在TOP500 supercomputer list上排第175位。我们在其中的32台机器上安装布署了GOS软件和portal，并通过一个前端服务器连接到中科院网络中心的服务器。目前在中国国家网格的主portal上可以见到香港大学网格节点的资源信息以及提供的一些网格服务。 二、对外的网格服务 目前，通过中国国家网格的主portal，用户可以访问香港大学网格节点提供的各类应用服务。 其中一些服务是来自于本组开发研究的项目： JESSICA2服务：提供并行Java虚拟机服务，用户可以提交自己编写的Java多线程单机程序，线程将分布在多台机器上执行，效率将远远高于单机运行，服务将把输出结果通过portal返回给用户。 G-JavaMPI服务：提供支持Java语言的MPI并行编程和执行环境，用户可以提交自己编写的JavaMPI程序，执行完成之后，服务将把输出结果通过portal返回给用户。 另外一些是标准的软件包或者非本组开发的应用程序。 WireGL服务：使用Stanford大学开发的并行图形系统，提供3D图形或动画炫染服务。 MatMPI服务：使用MIT开发的并行MPI Matlab系统，提供并行数学计算的服务。 上海新药研发网格：我们协助上海方面在Gideon上进行软件的布署和调试。作为新药研发网格的节点之一，香港大学网格节点提供计算资源用于计算新药查找和分析任务。 三、三大网格研究项目 G-JavaMPI：该项目研究简单易用的网格编程环境和高效的网格程序执行，提供一个支持Java语言的并行编程和执行环境。它提供一套Java语言版本的MPI API，用户可以像编写C-MPI程序一样，用Java语言编写MPI程序。G-JavaMPI利用底层Globus提供的co-allocation功能和MPICH-G2的跨网格的MPI通信功能，给上层的JavaMPI程序提供物理地址透明的MPI通性服务。其另外一个重要特性是支持透明的和自动的Java进程迁移，用户不需要特别修改程序，系统通过调用JVMDI提供的方法和对Java字节码小量的修改，可以透明的获取和恢复Java进程的运行时状态。基于G-JavaMPI，我们开发了Java并行BLAST程序“JmpiBLAST”来测试G-JavaMPI的基本功能。另外，针对这个应用程序以及与其类似的一类程序，研究基于进程迁移的动态调度算法。在程序运行时，当有新的资源加入或者有资源要退出，算法自动地调度进程的位置，有效的提高资源的使用率和程序执行的效率。我们做了大量的实验，检验G-JavaMPI的MPI通信功能、进程迁移功能和支持动态调度的功能，实验结果报告在已发表的论文和专著中。目前，G-JavaMPI和JmpiBLAST被包装成网格服务提供给用户使用。 G-PASS：该项目研究如何为网格组织之间频繁移动的agent或者进程提供有效灵活的安全支持。核心思想包括面向实例的授权机制和跨组织的角色映射。G-PASS对现实世界中为出入国境提供安全保障的海关系统进行抽象，提出以一个不可伪造的文档G-passport为核心的安全支持体系，并在其中定义了相关协议。G-PASS可以做为网格中构建移动进程应用的基础设施，它与GSI中的安全文档（如密钥、X.509证书与Proxy证书等等）完全兼容，并提供了更为强大的支撑功能。G-PASS 现在被装载到G-JavaMPI系统中，以对进程迁移提供安全支持。经实验证明，G-PASS可以在该系统中良好运行，并产生可接受的安全开销。 InstantGrid：该项目研究如何自动快速地创建一个网格节点，提供一套完整的方案，包括框架结构和自动创建基于Linux和Globus的网格节点的方法。不同于传统的方法，InstantGrid简化了网格系统的软件管理过程，可以将网格节点中的计算机系统快速地配置为指定的网格执行环境。在Gideon cluster上所做的测试表明，InstantGrid能在5分钟之内完成一个有256部机器的