第十六章 并行算法.pptVIP

第十六章 并行算法 并行处理技术就是只把一个处理任务分配给多个处理器同时处理，这样可以使得在一个时刻计算机的计算量增加n倍。为并行处理所涉及的计算机称为并行计算机，随着网络的发展，我们可以利用网络上各个点的资源联合进行分布式计算。所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。 第十六章 并行算法 目录 16.1 并行计算机 16.2 并行算法的基本概念 16.3 并行算法的描述 16.4 SIMD-SM上的非线性方程求根同步并行算法 16.5 SIMD-SM上的同步并行求和算法 16.6 SIMD-CC超立方机器上的同步并行求和算法 16.7 MIMD-SM上的异步并行求和算法 16.1 并行计算机 串行机和并行机都是依据指令对数据进行操作，Flynn分类法就是根据指令流和数据流的个数将计算机分为4类： (1) 单指令流单数据流（Single Instruction Stream,Single Data Stream），简写成SISD，它是指单指令流对单数据流进行操作； (2) 多指令流单数据流（Multiple Instruction Stream,Single Data Stream），简写成MISD,它有很多个处理器，但是由一个控制部件管理，一个数据流被传送给一组处理器，通过处理器上不同指令操作最终得到处理结果； (3) 单指令流多数据流（Single Instruction Stream, Multiple Data Stream），简写成SIMD，是指多个处理器接收不同的指令对相同数据进行操作 ； (4) 多指令流多数据流（Multiple Instruction Stream, Multiple Data Stream），简写成MIMD ，它使用多个控制器来异步地控制多个处理器，从而实现空间上的并行性 。 16.1 并行计算机 MIMD与SIMD计算机的区别 ： SIMD计算机中每台处理器只能执行中央处理器的指令，而MIMD计算机中每台处理器只是接受中央处理器分配的任务，每台处理器各自执行自己的指令，从而达到空间上的并行性。 图16.1、16.2、16.3、16.4分别依次表示了SISD、MISD、SIMD和MIMD的结构情况。 16.1 并行计算机 16.1 并行计算机 16.1 并行计算机 16.1 并行计算机 根据Flynn分类法，并行计算机主要分为SIMD和MIMD两类。 SIMD模型还可细分为给予共享存储的SIMD模型和基于互连网络的SIMD模型。 MIMD模型也可细分为基于共享存储的MIMD模型和基于异步通信的互连网络模型。 SIMD共享存储型的每个处理器都是有独立算术运算能力和逻辑判断能力的，然后每个处理器之间的信息交流都是通过一个共享存储器，比如处理器i要送一个数据给处理器j，那么首先要把该数据写到存储器上的某个地址，处理器j再从这个地址中读这个数据，但是因为共享存储器的容量是有限的，如果在同一时刻，多个处理器一起访问同一处理单元时就会发生冲突，所以共享存储模型根据解决冲突的能力还可以分为3类： (1)EREW(Exclusive-Read Exclusive-Write),即不允许有两个处理器同时读或写一个共享单元； 16.1 并行计算机 (2) CRCW(Concurrent-Read Exclusive-Write) 可允许同时读，但不允许同时写，即允许两个处理器同时读一个共享单元，但只允许一个处理器写某个共享单元； (3) ERCW(Exclusive -Read Concurrent -Write)不允许同时读，但允许同时写； (4) CRCW(Concurrent -Read Concurrent -Write)允许同时读和同时写； 共享存储的MIMD计算模型中所有的处理器也是共享一个公共的存储器，处理器之间的信息交流也是通过公共存储器来完成的。 在基于互连网络的MIMD计算模型中，每个处理器都各自有自己的存储器的（数据都是来自各自的存储器的），信息是通过互连网络进行交流的，在这种模型上设计的算法与互连网络的拓扑结构有关，我们介绍几种比较常见的拓扑结构。 16.1 并行计算机 1、一维线性结构 这是最简单的连接方式，其中N个处理器用N-1条链路连成一行，每个处理器只与其左右紧邻的处理相连接。如图16.5所示： 2、二维网格结构 处理器之间按二维阵列形式排列，每个处理器仅与4个相邻处理器连接，16个处