超算环境科学工作流应用平台的引擎设计和资源调度-ChinaXiv.PDFVIP

/article/02-2019-07-065.html 计算机应用研究 超算环境科学工作流应用平台的引擎设计和资源调度* 1 1, 2 1† 1 1 李于锋 ，莫则尧 ，肖永浩 ，赵士操 ，段博文 (1. 中国工程物理研究院 算机应用研究所, 四川绵阳 621900; 2. 北京应用物理与计算数学研究所, 北京 100094) 摘 要：高性能计算机体系结构的复杂性对使用者提出了更高要求，而且在工程实际和科学实验中，通常需要使用多 种应用软件相互协作才能解决复杂问题。围绕超算资源的易用性和多类软件的集成以及协作需求，开发了超算环境下 的科学工作流应用平台，设计了异步并发的流程执行引擎，采取调度算法和调度器、引擎相分离的设计策略，给出了 资源调度方案。提出了局部资源池化技术和资源预约算法，并比较分析了五种常用调度算法的性能，给出了算法选择 的建议。实际应用表明设计的引擎能够支撑复杂工作流的灵活执行方式，给出的资源调度方案能够满足超算环境下工 作流应用的高效执行。 关键词：科学工作流；高性能计算；资源调度；工作流引擎 中图分类号：TP301 doi: 10.3969/j.issn.1001-3695.2018.05.0263 1 v Engine design and resource scheduling of scientific workflow 1 application platform in supercomputing 4 0 1 1, 2 1 1 1 0 Li Yufeng , Mo Zeyao , Xiao Yonghao , Zhao Shicao , Duan Bowen 0 . (1. Institute of Computer Application , Chinese Academy of Engineering Physics, Mianyang Sichuan 621900, China; 2. 7 Institute of Applied Physics Computational Mathematics , Beijing 100094, China) 0 8 1 Abstract: The rapid development of HPC hardware gave rise to high complexity of high performance computer hierarchy, 0 which made it hard for users to make full use of HPC resources. In general, lots of software need to be cooperated together for 2 : particular object in scientific experiments and engineering domains . This paper described a new scientific workflow v application platform in HPC environment. This platform contained an engine with high concurrency and asynchronous i X framework to process workflo