高性能计算中的任务并行与数据并行策略.docxVIP

高性能计算中的任务并行与数据并行策略

一、高性能计算并行策略的发展背景与研究意义

（一）高性能计算的应用拓展与性能需求

随着科学研究与工程技术的不断发展，各领域对计算能力的需求呈现爆发式增长。气候模拟、基因测序、航天器设计、人工智能模型训练等场景，往往需要处理PB级别的数据、执行万亿次的计算操作，单台计算设备的性能早已无法满足需求。相关统计显示，当前国内超算中心承载的应用规模每年都保持较快增长，其中超过七成的应用对计算性能的需求超出了单节点硬件的上限（国家并行计算机工程技术研究中心，2022）。在硬件性能提升逐渐逼近物理极限的背景下，通过并行计算整合多台计算设备的资源，成为提升计算能力的核心路径。

并行计算的核心思想是将大规模计算任务拆分后分配给多个计算单元同时执行，从而缩短整体计算时间。经过数十年的发展，并行计算已经形成了丰富的技术体系，其中任务并行与数据并行是最基础、应用最广泛的两类并行策略，几乎所有高性能计算应用都建立在这两类策略的基础之上。可以说，对两类并行策略的理解与应用水平，直接决定了高性能计算应用的性能上限与开发效率。

（二）并行策略研究的核心价值

在实际应用中，并行策略的选择并非简单的非此即彼，而是需要结合应用特征、硬件架构、开发成本等多方面因素综合考量。如果并行策略选择不当，不仅无法充分发挥硬件的计算能力，还可能导致资源浪费、开发周期延长等问题。有调研显示，国内超