并行计算程序设计讲稿.pptx

高性能地理计算 ;Warm Up;第二章 并行程序设计;相关概念;相关概念;相关概念;相关概念;相关概念;相关概念;相关概念;相关概念;;第二章 并行程序设计;并行编程模型;多线程;多线程;消息传递模型;消息传递模型;数据并行;混合模式;并行层次与代码粒度;并行层次;第二章 并行程序设计;并行程序开发策略;自动并行化;并行程序库;手动并行（Manual Parallelization）;并行方法（Parallelization Methodology ）;Algorithm Review;Algorithm Review;并行应用编程过程－PCAM; PCAM设计过程; 划分方法描述;域分解 ;域分解 ;域分解 ;域分解 ;域分解 ;域分解 ;域分解 ;功能分解 ;功能分解 ;划分判据 ;Loop carried data dependence ;数据依赖;数据依赖——True Flow Dependence;数据依赖——Anti-Dependence;数据依赖——Output (or Write) Dependence;数据依赖——独立条件; 通信分析; 四种通信模式;局部通信;全局通信;结构化通信;非结构化通信;静态/动态通信;同步/异步通信;Synchronous communications;Asynchronous communications;通信判据 ;通信——同步;同步;同步;任务组合 ;增加并行粒度;组合判据 ;处理器映射 ;负载平衡 ;任务分配与调度;任务分配与调度;映射判据 ;调试与调优;调试与调优;调试与调优;调试与调优;并行程序设计实例：----------DC Delaunay Triangulation;Merge Process during DC DT;Data Decomposition;D;D;D;第二章 并行程序设计;并行计算的性能评价;相关概念;为了对一个并行任务评估，通常我们使用在单处理机上运行最快的已知算法的执行时间与并行任务的执行时间进行比较，即加速比。 加速比 S(p) =;一般表示;一般表示;加速比定律;适用于固定计算负载的Amdahl定律;;S =;Wp Wp Wp Wp Wp Wp Wp Wp;S =;;;适用于扩展问题的Gustafson定律;适用于扩展问题的Gustsfson定律; =;;;例：设某应用问题在单节点机器上求解时需要执行的运算量为 1?107 次浮点运算（工作负载）, 其中有 1?105 次浮点运算必须顺序执行。 现考虑在一包含10个节点的多计算机系统求解该问题，同时将工作负载按以下两种情况进行调整： 总运算量为 1?107 次浮点运算，其中1?105 次浮点运算可由任一节点执行； 可并行的部分按节点数扩大为 9.9?107 次浮点运算，而必须顺序执行的1?105次浮点运算可???任一节点执行。 试计算 a) 和 b) 两种情况下获得的加速比。 ;a) 已知：p = 10 ，W = 1?107 ， Ws = 1?105 ， 可得：Wp = 1?107 - 1?105 = 99 ?105 f = Ws / W = 0.01 总运算量为1?107次浮点运算，其中1?105次浮点运算可由任一结点执行； a)属于工作负载不变的情况，应使用Amdahl定律求其加速比： S(p) = 1/(f+(1-f)/p) = 1 / (0.01+0.99/10) = 9.17;b)已知： p = 10 ，原W = 1?107 ， Ws = 1?105 ， 可得： f = Ws / W = 0.01 现Wp = (1?107 - 1?105) ? p = 99 ?105 *10 = 9.9?107 总运算量增加到 9.9?107+1?105 = 9.91?107 次浮点运算，其中的1?105次浮点运算可由任一结点执行。 b)属于工作负载随处理机个数增加而增加的情况，应使用 Gustsfson 定律求其加速比： S = (Ws+Wp*p) / (Ws+Wp) = f +(1-f)*p = 0.01 + 0.99*10 = 9.91 ;A driving metaphor;加速比讨论;本章小结;本章小结