并行计算大学课件1.pptVIP

* * * * * * * * * * 一个处理器时，t 1411 两个处理器时，t max 706,705 706， 下面是sqrt 1000 内的 质数（标记次数） p1: 2 499 , 7 136 , 17 42 , 23 21 , 29 6 , 31 2 p2:3 331 , 5 196 , 11 80 , 13 64 , 19 34 三个处理器时，t max 499，453，459 499 P1: 2 499 , P2: 3 331 , 11 80 , 19 34 , 29 6 , 31 2 P3: 5 196 , 7 136 , 13 64 , 17 42 , 23 21 , * * * * * * * * * * 我们可以看出算法总时间为 16800 * p-1 + ? ? 106/p ?/2 ?+ ? ? 106/p ?/3 ?+ ? ? 106/p ?/997 ? 当处理机的个数增加时，n/p越小，计算时间越小， 而当处理机的个数增加时，p越大，通信时间越大。 * * * * * * * * * * * * * * * * 共享存储型并行机通用性好，程序易于编写，用户容易接受。但可扩充性差，因为当处理器增多时，存取主内存的延迟时间增加，对互连网的数据通过能力要求也比较高，难以实现。 对分布存储型并行机来说，各局部内存之间通过消息传递互通信息。 * * * * * * * * * * * * * * * * * * * Amdahl 定律的一个主要缺点是在机器规模增大时，问题（工作负载）不能扩展相匹配可用的计算能力。即固定负载妨碍了并行机性能可扩展性的开发。 * 假设我们要求1,000,000以内的质数 小于1000的质数共有168个，其最大质数为997 计算时间 tpc： tpc ?106/p ? 2 ? 106 / p ? 3 ? 106 / p ? 997 + + … + 通信时间 tpt： tpt ? * 168 * p-1 168 ? * p-1 tp 168 ? * p-1 + ?106/p ? 2 ? 106 / p ? 3 ? 106 / p ? 997 + + … + 当N 1,000,000，p 11 时，加速比达到最大值 1 4 8 12 处理机个数 8 4 1 加速比 1 4 8 12 处理机个数 时间 计算时间 通信时间 算法总时间 并行编程应考虑的主要问题 对于分布存储型并行机 如何实现处理器间的信息交换并提高通信效率？ 对异步操作中存在的同步问题如何解决？ 对于共享存储型并行机 通信是通过共享存储器来实现的，但如何协调多个处理器同时访问相同的内存空间？ 对 SIMD 算法如何实现各处理器间的计算同步？ 如何使系统中各处理器的负载平衡？ 如何评价一个并行算法在给定并行机模型上的性能？ 第二章 并行计算与并行计算机概述（小结） 并行计算机的类型 PVP、SMP、MPP、DSM、COW SPMD、MPMD 并行算法性能的评价方法 概念：并行计算、分布计算、网格计算、云计算 并行粒度、并行处理、多道处理、巨型计算机、流水线计算、数据并行、控制并行、加速比、并行效率 并行计算机存储器访问模型：共享存储型、分布存储型 两个加速比定律 * * * SIMD系统也称为数据并行机 * SIMD系统也称为数据并行机 * * Array Computer 阵列 计算 机、向量计算机 ：把若干台处理机排列某种规则结构的阵列，实现并行运算的计算机。 阵列计算机用于向量运算时 现用的阵列计算机有两种主要类型： 1.松耦合型（） 各处理器分别拥有自己的局部内存和局部程序，处理器之间通过消息传递来互通信息。这样的系统中各处理器之间耦合较松消息传递速度慢，但一个系统中可以容纳数万个处理器，因而可实现大规模并行计算。 2.紧耦合型（） 所有处理器共享系统内存，通常是将多个存储体通过互连网络与多个处理器相连，处理器之间耦合紧密，运行效率高，但由于互连网络的复杂性所限，实际上允许包含的处理器个数不能太多，因而并行程度有限。 * * * * * * * * * * * * * * * * * * * * * S Ws + Wp Ws + Wp/p f W + 1-f W f W + 1-f W /p f + 1-f f + 1-f /p 1 f + 1-f /p S ts f*ts + 1-f ts/p 1 f + 1-f /p 在假设算法中每个计算步的执行时间是相等的情况下，算法的执行时间也常用计算步来计算。 Wp Wp Wp Wp Wp Wp Wp Wp