《并行程序设计导论》第二章.pptxVIP

《并行程序设计导论》

第二章

•并行计算基础

•并行程序设计语言

CATALOGUE•并行程序开发环境

•并行程序性能优化

目录•分布式内存并行程序设计

•共享内存并行程序设计

•总结与展望

01

并行计算基础

并行计算概念

并行计算是指同时使用多种计算资源解决计算问题的过程，其主要目的是快速解决

大型且复杂的计算问题。

并行计算的主要思想是用多个处理器来协同求解一个问题，即将被求解的问题分解

成若干个部分，各部分均由一个独立的处理机来并行计算。

并行计算系统既可以是紧紧耦合的多处理器系统，也可以是松散耦合的计算机网络。

并行计算模型

PRAM模型

PRAM(ParallelRandomAccessMachine，并行随机存取机器)模型，也称之为共享存储的SIMD模型，是

一种抽象的并行计算模型。

BSP模型

BSP（BulkSynchronousParallel）模型，字面的意思是“大”同步模型，它最早由Leslie和Valiant在

1990年提出。作为计算机语言和体系结构之间的桥梁和计算机体系结构和并行算法之间的桥梁。

LogP模型

LogP模型是一种分布式存储的、点到点通信的多计算机模型，其中网络延迟隐藏在算法中，以增加编程的

复杂性为代价换取硬件设计的简单性。

并行算法设计原则

010203

分解任务划分数据划分

把一个计算分解成多个小将程序划分成可以分配到将数据划分成可以分配到

部分，其中的每一部分都不同任务单元或进程上的不同任务单元或进程上的

可在单独的处理器上并行任务；数据；

执行；

并行算法设计原则

平衡负载减少通信考虑并行计算的粒度

平衡各个处理器上的计算负载，使得减少处理器之间的通信，降低并行计在设计并行算法时，需要考虑计算的

并行系统能够获得最大的加速比；算的通信开销；粒度。细粒度并行可以使更多的处理

器并行执行，但是会增加通信和同步

的开销；粗粒度并行可以减少通信和

同步的开销，但是可能无法充分利用

处理器资源。因此，需要选择合适的