9并行算法.pptVIP

9 并行算法 9.1 有关并行算法的基本概念 并行算法：一些可同时执行诸进程之集合，这些进程互相作 用和协调动作从而达到对给定问题的求解； 数值计算：基于代数关系运算的一类诸如矩阵运算、多项式 求值、解三角形线性系等的计算问题，基本上属 于数值分析(对以数字形式表示的问题求数值解) 的范畴； 非数值计算：基于关系运算的一类诸如排序、选择、搜索、 匹配以及图论等方面的计算问题，基本上是属 于符号(如字符、数字、图形或别的一些记号) 处理的范畴； 同步算法：某些进程必须等待别的进程的一类并行算法。 因为一个进程的实行依赖于输入数据和系统中 断，所以全部进程必须同步在一个给定的时钟， 以等待最慢的进程。 一般而言，运行在SIMD机器模型上的并行算法称为同步 并行算法； 异步算法：诸进程的执行一般不必相互等待的一类并行算法。 在此情况下，进程的通信是通过动态地读取(修改) 共享存储器的全局变量。 一般而言，运行在MIMD-SM机器模型上的并行算法称为 异步并行算法； 分布式算法：有通信链路连接的多个节点协同完成某项计算 任务的算法。 一般而言，运行在MIMD-CL机器模型上的算法称为分布式算法 通信复杂度：异步通信的分布式计算模型，其算法复杂度衡量标准主要有两个，一个是在最坏情况下算法的运算时间，另一个是在最坏情况下算法的通信复杂度，即在最坏情况下算法在整个执行期间所传送的消息总数目。在基于异步通信的分布式计算模型中，并行算法复杂度是一通信复杂度为主要衡量标准，其次才是算法的运算时间. 并行语句： 语句par for(…)表示处理机并行计算；用于SIMD模型中的并行算法 语句receive…表示执行节点接收到发送来的消息； 语句send…to…表示执行节点把消息传送给接收节点。 receive…和send…to…用于互连网络模型中并行算法的通信 （1）运行时间 T(n) （2）处理机台数P(n) （3）加速比 Sp(n)=T(n)/P(n) （4）成本 T(n)*P(n) （5）效率 Sp(n)/P(n) （1）提取并行性 例如，8个数的求和问题。 串行算法: (((((( a0+a1)+a2)+a3)+a4)+a5)+a6)+a7 并行算法: (a0+a1)+(a2+a3)+(a4+a5)+(a6+a7) （2）必须考虑通信开销 （3）并行算法必须拟合并行机结构 （1）高效的串行算法不一定是能导出高效的并行算法 （2）高效的串行算法不一定隐含并行性 （3）串行算法经适当的改造有些可以变化成并行算法 （4）用串行方法设计和实现的并行算法未必有效 （5）串行算法与其相对应的并行算法的收敛速度可能不同 （6）求解同一问题的串行算法和并行算法，其数值稳定性 可能不同 （7）并行算法的有效性与并行处理机的体系结构、处理机 数、机间通信、存储分配、任务调度、数据结构、编译方法以 及控制方式密切相关。 9.2 SIMD共享存储模型的并行算法 9.3 SIMD互连网络模型的并行算法 9.4 MIMD共享存储模型的并行算法 9.5 MIMD异步通信模型的并行算法 * * MIMD 并行计算模型 并行 计算 模型 一、并行计算模型 SIMD 并行计算模型 基于异步通信的 互连网络模型 基于共享的 SIMD模型 基于互连网络的 SIMD模型 基于共享的 MIMD模型 指令流(Instruction Stream)是指机器执行的指令序列。数据流(Data Stream)是指指令流调用的数据序列，包括输入数据和中间结果。多倍性(multiplicity)是指在系统最受限制的部件上，同时处于同一执行阶段