一个精细粒度实时计算资源管理系统.pdfVIP

应用气象学报 第 19 卷 4 期 Vo1. 19. No.4 2008 年 8 月 JOURNAL OF APPLIED 勘fETEOROLOGICAL SCIENCE August 2008 一个精细粒度实时计算资源管理系统. 王彬 宗翔 魏敏 (国家气象信息中心计算机室，北京 100081) 摘要 由于相应业务系统软件的缺乏，国家级气象高性能计算机的资源管理措施落后于能力建设的发展。对此，该 文提出了一个精细粒度实时计算资源管理系统。系统设计紧密围绕着目前竞争最为激烈的计算资源，采用资源虚 拟单元 GCU 作为资源使用的计量单位，屏蔽了不同高性能计算机系统的体系结构差异，实现了计算资源细粒度的 统一量化统计。系统可分为用户接口层、资源管理层、HPC 系统层等3 个层次，根据与网格平台软件不同结合方式 以两种方式运行。在国家气象信息中心完成了系统的研发、部署和试验运行，根据试验运行的部分数据进行了用 户单位和用户个人的计算资源使用的统计分析。目前，计算资源管理系统成果已成功应用到国家级气象高性能计 算机计算资源的业务管理工作中。 关键词:国家级气象高性能计算机资源;资源管理;GCU;实时;精细粒度 理有据，使资糠的分配公平、合理，达到最优的使用 效果和最高的使用价值。 寻I ~ 资源管理具体体现在资摞使用记账统计与分配 经过多年建设，国家级气象高性能计算机系统 控制两个方面。从目前的资源使用记账上来看，未 能力建设取得了长足的进展。但相对于运算能力的 能实现全局的、综合的、动态的、精细粒度的资源使 提高，计算资摞管理却由于缺乏先进的软件工具日 用记账。现有计算机系统的资源管理没有达到实时 趋落后，已不能够适应新形势下业务管理的需要[1J 。 记账，粒度粗糙，各自孤立进行，无法获取用户个人/ 国家级气象高性能计算机系统的组成日趋复 单位在计算系统整体全局的资源统计。另一方面， 杂，从单个孤立同构计算机集群转变为多个集群系 资源分配还处于较为粗放的阶段，用户开通系统账 统构成的异构网格环境。服务用户的数量和范围大 户之后缺乏足够的约束管理机制，出现了资源分配 大扩展，从国家气象中心扩大到所高国家级气象业 不公平、不均匀现象:某些用户长时间占用资源，而 务和科研单位。 使有些用户由于得不到足够的资源而无法完成工 随着天气、气候模式预报精度的提高、物理过程 作;某些时候系统的整体负载非常轻，用户提交作业 的复杂化，以及集合预报样本的增加，导致模式计算 不多，在系统负载重的时候，用户又集中提交作业， 规模越来越大，要求积分时间越来越长，对系统的计