并行计算--第3章—并行算法的设计基础.pptVIP

3.2 并行计算模型 LogP：MIMD-DM 基本概念： LogP 模型是技术趋势，编程经验和现行理论的综合产物； 用于大粒度并行计算； 使用分布式存储器的单一的单一的和多重访问地址空间； 进程间异步操作； 采用报文通信方式隐式实现同步操作，即子集同步。 LogP：MIMD-DM 参数和计算 LogP模式把通信网络抽象为3个参数：L（网络延时），O（通信开销），g（网络带宽）； 计算过程有若干superstep组成； 在每个superstep中异步地实现局部计算并通过发送/接收L/g报文进行同步。 LogP：MIMD-DM 优点： 可捕捉并行计算机的（同步）通信瓶颈（通过发送或接收L/g 个报文）； 可隐匿拓扑结构，路由算法和网络协议的细节； 可用于共享变量，报文传递和数据并行处理等方案。 缺点： 受限于网络的通信能力（当进行处理机数量扩充时）； 难以计算同步开销和进行算法描述和设计。 注：优点中的“捕捉同步通信开销”是指当处理机数一定的情况下，通过发送/接收关于L/g参数的报文来获取网络通信量情况，并避免拥塞； 缺点中“受限于网络通信能力”是指当处理机数量增加时，获取L/g参数的通信开销也要增加，反过来要现在处理机数量的（无限制）增加。 LogP：MIMD-DM BSP与LogP的比较： LogP是具有子集同步方式的BSP（bulk superstep-subset）； BSP=LogP+Barrier-Overhead。 BSP可用模拟LogP，呈线性下降关系； LogP可用模拟BSP，呈对数下降关系。 BSP为算法设计和编程提供了方便使用的抽象，易于编程； LogP提供更好的机器资源的控制，但算法和程序的正确性分析较复杂。 3.2 并行计算模型 C3模型 C3模型 参数和计算： C3模型把网络操作抽象为3个参数：l（报文长度），S（启动时间），h（通信跳数），借助这3个参数可计算Cl （链接拥塞）和Cg（处理机拥塞）； 使用Barrier把计算分为Supersteps；在每个superstep中实现局部的异步计算和点一点的报文传递。 C3模型 优点： 考虑了一对一和一对多的通信方案细节； 反应了受拥塞影响的计算性能。 缺点： 模型的参数较复杂； 算法的设计与分析和计算机的结构状况有关。 3.2 并行计算模型 小结 作业 简述BSP计算模型和LogP计算模型及其关联内容 小结本章各模型 * 第3章 并行算法的设计基础 3.1 并行算法的一般概念 3.2 并行计算模型 3.1并行算法的一般概念 3.1.1 并行算法的定义和分类 3.1.2 算法表达 3.1.3 算法分析 3.1.4 算法指标 并行算法定义 并行算法是适合于在各种并行计算机上求解问题和处理数据的算法。它是一些可同时执行的诸进程的集合，这些进程相互作用和协调动作从而达到对给定问题的求解。 并行算法分类： 数值计算：基于关系的一类运算。如矩阵运算，多项式求解。 非数值计算：基于比较关系的一类运算。如排序、选择、搜索、匹配、图论。 同步运算：某些进程必须等待别的进程（结果）的一类运算。 异步运算：某些进程的执行不必等待别的进程（结果）的一类运算。 有效并行算法：并行算法相对串行算法在性能（效率）方面，器时间关系具有对数特征，则这种并行算法是有效并行算法。 3.1并行算法的一般概念 3.1.1 并行算法的定义和分类 3.1.2 算法表达 3.1.3 算法分析 3.1.4 算法指标 算法表达 一般采用形式化描述的方法，不提倡使用具体语言描述。 使用的关系词要配对，且有层次感。可使用： for-end for ； if else- then-end if； while-end while； begin-end。 3.1并行算法的一般概念 3.1.1 并行算法的定义和分类 3.1.2 算法表达 3.1.3 算法分析 3.1.4 算法指标 算法分析 一般考虑的是算法的时空复杂度呈现最坏情况下的算法复杂度（即worst-case-complexity）。 算法分析 在MIMD计算模型上的并行算法的参量有： 运行时间t(n):在给定的模型上求解问题规模为n的给定问题所需时间，包括： 计算时间tc在某一处理器执行算/逻运算所需时间。 选路时间tr数据从原处理机到目的处理机所需时间。 处理机数p(n):求解给定问题所需的处理机数。 算法分析 在MIMD计算模型上的并行算法的参量有： 通信复杂度：算法在整个执行期间能传送的报文总数。 时间复杂度：算法以第一台处理机开始执行到最后一台处理机执行中止所需时间。 算法分析 界： 上界：令f(n)和g(n)是定义在自然是集合N上的两个函数，如果存在两个正的常数c和n0，使得对于所有n=n0，均有f(n)=c*g