并行算法的抽象模型.pptVIP

APRAM模型 优缺点 易编程和分析算法的复杂度，但与现实相差较远，其上并行算法非常有限，也不适合MIMD-DM模型 BSP模型 BSP-Bulk Synchronization Parallel 1. BSP模型的提出： 哈佛大学的Leslie Valiant提出： 块同步并行(BSP)，用以克服PRAM模型的缺点，但保留其简单性。 一个BSP计算机由n个结点(处理器和存储器对)所组成。 BSP模型 基本概念 由Valiant(1990)提出的，“块”同步模型，是一种异步MIMD-DM模型，支持消息传递系统，块内异步并行，块间显式同步。 模型参数 p：处理器数(带有存储器) l：同步障时间(Barrier synchronization time) g：带宽因子(time steps/packet)=1/bandwidth 选路器吞吐率 特点： 一个BSP程序有n个进程，每个驻留在一个结点上。基本时间单位是周期(或时间步)。 程序按严格的超步序列执行。 同步路障迫使进程等待 BSP计算机是MIMD系统 BSP模型是超步级的松同步 在一个超步中，不同进程以不同速率异步执行。 BSP模型交互机制是共享变量或是消息传递 BSP模型 计算过程 由若干超级步组成， 每个超级步计算模式为左图 优缺点 强调了计算和通讯的分离， 提供了一个编程环境，易于 程序复杂性分析。但需要显 式同步机制，限制至多h条 消息的传递等。 一个超步执行时间的确定 计算时间w 处理器中完成计算操作所需的最大周期数。 同步开销为L。 通信开销为gh周期 g是实现h关系的比例系数，常数。 结论： 执行一个超步的时间为w+gh+L 关于BSP模型的实际优点和评论： 比起PRAM模型来，BSP模型更为现实 除了用于进程管理的并行性开销外，它考虑了所有其他开销。 logP模型 基本概念 由Culler(1993)年提出的，是一种分布存储的、点到点通讯的多处理机模型，其中通讯由一组参数描述，实行隐式同步。 模型参数 L：network latency o：communication overhead g：gap=1/bandwidth P：#processors 注：L和g反映了通讯网络的容量 logP模型 优缺点 捕捉了MPC的通讯瓶颈，隐藏了并行机的网络拓扑、路由、协议，可以应用到共享存储、消息传递、数据并行的编程模型中；但难以进行算法描述、设计和分析。 BSP vs. LogP BSP?LogP：BSP块同步?BSP子集同步?BSP进程对同步＝LogP BSP可以常数因子模拟LogP，LogP可以对数因子模拟BSP BSP＝LogP+Barriers－Overhead BSP提供了更方便的程设环境，LogP更好地利用了机器资源 BSP似乎更简单、方便和符合结构化编程 * * * * * * * * * * * * * * * 并行算法的抽象模型 并行算法的定义和分类 并行算法的定义 算法 并行算法：一些可同时执行的诸进程的集合，这些进程互相作用和协调动作从而达到给定问题的求解。 并行算法的分类 数值计算和非数值计算 同步算法和异步算法 分布算法 确定算法和随机算法 并行算法的表达 描述语言 可以使用类Algol、类Pascal等； 在描述语言中引入并行语句。 并行语句示例 Par-do语句（Do in parallle）算法要并行执行 for i=1 to n par-do …… end for for all语句（几个处理器同时执行相同的操作） for all Pi, where 0≤i≤k …… end for 并行算法的复杂性度量 串行算法的复杂性度量 最坏情况下的复杂度(Worst-CASE Complexity) 期望复杂度(Expected Complexity) 并行算法的几个复杂性度量指标 运行时间t(n):包含计算时间和通讯时间，分别用计算时间步和选路时间步作单位。n为问题实例的输入规模。 处理器数p(n) 并行算法成本c(n): c(n)=t(n)p(n) 总运算量W(n): 并行算法求解问题时所完成的总的操作步数。 并行算法的复杂性度量 Brent定理 令W(n)是某并行算法A在运行时间T(n)内所执行的运算 量，则A使用p台处理器可在t(n)=O(W(n)/p+T(n))时间 内执行完毕。 W(n)和c(n)密切相关 P=O(W(n)/T(n))时，W(