高性能计算：并行计算基础all.docx

PAGE1

PAGE1

并行计算基础

1.并行计算简介

并行计算是一种计算模型，通过同时使用多个计算资源来解决计算问题。与传统的串行计算相比，它能够显著提高计算效率和处理大规模数据的能力。在并行计算中，任务被分解成多个子任务，这些子任务可以同时在不同的处理器或计算节点上执行。并行计算的主要目标是减少计算时间、提高资源利用率和扩展计算能力。

1.1并行计算的基本概念

并行计算涉及以下几个基本概念：

并行度：并行计算中同时执行的任务数，表示并行系统的规模。

粒度：任务分解的大小。细粒度并行意味着任务被分解成非常小的部分，而粗粒度并行则意味着任务被分解成较大的部分。

负载均衡：确