一种基于运算量估算的任务群自适应计算技术.pdfVIP

上海超级计算中心成立十周年特刊 45 一种基于运算量估算的任务群自适应计算技术  余华山 张宇 吴宪国 肖健 李晓明 北京大学信息科学技术学院 北京100871 摘要： 任务群计算在科学领域有广泛的需求，其关键特征是要在较短时间里完成大量可独立调 度的任务。提出了一个面向任务群的服务资源生命周期模型，确保任务群计算时并行执行的任 务量单调递增。开发了一个通用的任务群并行计算模型、以及任务群的自适应计算划分算法， 并发地向各空闲资源分配任务群的计算负载、优先执行运算量大的任务、分别确定每次任务 分配的粒度。介绍了任务群计算软件平台的原型系统Harmonia。给出两个任务群计算实例的实 验结果，从减少资源管理开销、提高负载均衡性、减少资源闲置、提高任务群计算速度方面对 Harmonia进行了评估。 关键字：任务群计算，服务资源的生命周期，计算划分，计算效能 [1] 任务群计算（MTC: many-task computing）是一 合数值预报等复杂应用的要求。MTC与高性能计算 种松耦合的并行计算模式，其关键特征是利用动态 HPC和高通量计算HTC均有相似之处，同时又与二者 分配的资源在较短时间里完成大量可独立调度的任 各有区别。HPC涉及大量细粒度任务的并行处理， 务。这类计算的开销主要来自问题域中一个或多个 且由应用程序在预留的本地资源上完成所有数据运 大规模数据集，其中每个元素分别由一个可独立调 算。HTC侧重于缩短单个任务的周转时间(即从提交 度的任务完成数据处理。这里的数据集元素代表问 到运行结束的时间成本)，适合于可以独立调度的粗 题域中一个可调用其他程序独立处理的数据单元， 粒度任务。 实际上是以文件存储的一个或者一组复杂数据结 针对任务群计算，我们提出了一种新的服务 构。功能需求相同、且互相无关的数据单元构成一 资源生命周期模型，有利于在任务群计算时充分挖 个数据集，执行这些数据单元运算的任务构成一个 掘计算、存储和网络资源的服务能力。以此模型为 任务群。任务群中，各个任务的数据规模和运算量 基础，设计了一个自适应的任务群计算划分算法， 可能不同、甚至相差很大。任务群调用的数据处理 利用动态分配的并行计算资源提高任务群的计算效 程序是独立开发的，在开发MTC应用时不需要重新 率。分配任务群的任务时，以运算量估算为基础， 编码。任务群计算的实现依赖于计算机任务管理系 分别确定每次任务分配的粒度，确保并行执行的任 统，包括分配任务执行需要的资源、完成任务的具 务数量单调上升、优先启动运算量大的任务。本文 体执行等细节。任务群计算时，各任务可分别调度 结构如下：第1节将分析任务群计算的特征，概述相 到不同的计算机、不同的计算节点上并行执行。 关工作及其局限性；第2节给出为任务群计算设计的 MTC是与HPC（high-performance computing）和 新服务资源生命周期模型；第3节给出所设计的可扩 HTC（high-throughput computing）并列的一种重要 展任务群计算划分算法；第4节介绍相关的原型实 计算模式[1]，在科学领域有广泛的MTC需求。一方 现；第5节结合任务群计算的实验结果，展示这一任 面，科学家可以使用本领域的工具软件和遗留程序 务群计算技术的实际效果；最后在第6节总结本文的 等成熟、优质的程序资源，快速开发更复杂的应用 工作。 程序。另一方面，可以采用网格计算和云计算等分 布式处理技术，加速大规模数据集的处理效率，满 1. 任务群计算的特征和相关工作 足基因组计算、蛋白质组计