计算机常用算法与程序设计教程第9章 并行算法.pptVIP

常用算法与程序设计 常用算法与程序设计 * 9.1 并行算法的基本概念 并行计算机系统结构模型 并行计算性能评价 9.2 并行算法设计 SIMD共享存储模型 SIMD互连网络模型 MIMD共享存储模型 MIMD异步通信模型 9.3 并行程序开发 并行程序设计的概念 共享存储系统并行编程 分布存储系统并行编程 常用算法与程序设计 * 9.1并行算法的基本概念 9.1.1 并行计算机系统结构模型 SISD:单指令流单数据流。 SIMD:单指令流多数据流。 MISD:多指令流单数据流。 MIMD:多指令流多数据流。 常用算法与程序设计 * 9.1.2 并行计算性能评价 1. 并行算法的成本C（n） 成本C（n）定义为并行算法的运行时间T（n）与其所需的处理器数P（n）的乘积，即 C（n）＝T（n）* P（n） 它相当于在最坏的情况下求解某一问题的总执行步数。如果求解一个问题的并行算法的成本，在数量级上等于最坏情况下的串行求解此问题所需的执行步数，那么称此并行算法是成本最优的。 。 常用算法与程序设计 * 2. 加速比Sp（n） 并行算法的加速比Sp（n）可定义为 Sp（n）＝Ts（n）/ Tp（n） 式中，Ts（n）是最快的串行算法在最坏的情况下的运行时间，Tp（n）是求解同一问题的某并行算法在最坏情况下的运行时间 。 Sp（n）越大，则并行算法越好。 常用算法与程序设计 * 3. 并行算法的效率Ep（n） 并行算法的效率可定义为算法的加速比与处理器数目之比，即 Ep（n）＝Sp（n）/P(n) 并行算法的加速比不能反应处理机的利用率，一个并行算法的加速比可能很大，但是处理机的利用率却可能很低。并行算法的效率反映了在执行算法时处理机的利用情况。 常用算法与程序设计 * 并行程序设计包括将一个问题分解成若干部分，然后由各个处理器对各个部分分别进行计算。 一个理想的并行计算是能被立即分解成许多完全独立部分且它们能同时执行的计算，可以贴切地称为自然并行 。 许多问题不是自然并行的，需要使用一些技巧来解决。 9.2 并行算法设计 常用算法与程序设计 * SIMD共享存储模型是假定有有限或无限个功能相同的处理器，每个处理器拥有简单的算术运算和逻辑判断能力，在理想的情况下假定存在一个容量无限大的共享存储器，在任何时刻，任意一个处理器均可通过共享存储器的共享单元同其他任何处理器互相交换数据，也称之为PRAM（Parallel Random Access Machine）模型，即并行随机存取机器。 9.2.1 SIMD共享存储模型 常用算法与程序设计 * 【例9.1】.广播算法 （1）处理器P1将m复制到自己的存储器中，然后将其写入B（1） （2）for ( i = 0 ;i≤ log N －1; i ++) for j = 2i + 1 to 2 i+1 par-do {处理器Pj将B（j － 2i）复制到自己的存储器中；然后将其写入B（j）;} end for （3）for i=1 to N par-do 处理器Pi从B（i）中读取数据m ; end for 常用算法与程序设计 * SIMD互连网络模型，简记为SIMD-IN，也称为分布存储的SIMD模型，简记为SIMD-DM。在这种模型中，每个处理器在控制器控制下或处于活动状态，或处于不活动状态。活动状态的处理器都执行相同的指令，处理器之间的数据交换是通过互连网络进行的。其中各处理器（包括算术逻辑单元和本地存储器）可以通过多种互连方式连接。 9.2.2 SIMD互连网络模型 常用算法与程序设计 * 【例9.2】一维线性模型上的并行排序算法 for ( k= 1; k ≤ ; k++ ) {for each Pi : i=1,3,…,2-1 par-do if Xi＞Xi+1 then Xi←→Xi+1 ; end for for each Pi : i=2,4,…,2 par-do if Xi＞Xi+1 then Xi←→Xi+1 ; end for } 常用算法与程序设计 * 共享存储的MIMD计算模型是一个异步的PRAM模型，系由多个处理器组成，它的特点是每个处理器都有自己的本地存储器、局部时钟和局部程序；处理器间的通信经过共享全局存储器；没有全局时钟，各个处理器异步地执行各自的指令；处理器任何时间依赖关系必须明确地在各处理器的程序中加入同步（路）障（Synchroni