并行计算大学1例析.ppt

* * * * * * * * * * 一个处理器时，t=1411 两个处理器时，t=max(706,705)=706， 下面是sqrt(1000)内的 质数（标记次数） p1: 2(499), 7(136), 17(42), 23(21), 29(6), 31(2) p2:3(331), 5(196), 11(80), 13(64), 19(34) 三个处理器时，t=max(499，453，459)=499 P1: 2(499), P2: 3(331), 11(80), 19(34), 29(6), 31(2) P3: 5(196), 7(136), 13(64), 17(42), 23(21), * * * * * * * * * * 我们可以看出算法总时间为 16800 * (p-1) + ? ? 106/p ?/2 ?+ ? ? 106/p ?/3 ?+ ? ? 106/p ?/997 ? 当处理机的个数增加时，n/p越小，计算时间越小， 而当处理机的个数增加时，p越大，通信时间越大。 * * * * * * * * * * * * * * * * 共享存储型并行机通用性好，程序易于编写，用户容易接受。但可扩充性差，因为当处理器增多时，存取主内存的延迟时间增加，对互连网的数据通过能力要求也比较高，难以实现。 对分布存储型并行机来说，各局部内存之间通过消息传递互通信息。 * * * * * * * * * * * * * * * * * * * Amdahl 定律的一个主要缺点是在机器规模增大时，问题（工作负载）不能扩展相匹配可用的计算能力。即固定负载妨碍了并行机性能可扩展性的开发。 * 假设我们要求1,000,000以内的质数 小于1000的质数共有168个，其最大质数为997 计算时间 tpc： tpc = ?106/p ? 2 ? 106 / p ? 3 ? 106 / p ? 997 + + … + 通信时间 tpt： tpt = ? * 168 * (p-1) = 168 ? * (p-1) tp = 168 ? * (p-1) + ?106/p ? 2 ? 106 / p ? 3 ? 106 / p ? 997 + + … + 当N = 1,000,000，p = 11 时，加速比达到最大值 1 4 8 12 处理机个数 8 4 1 加速比 1 4 8 12 处理机个数 时间 计算时间 通信时间 算法总时间 并行编程应考虑的主要问题 对于分布存储型并行机 如何实现处理器间的信息交换并提高通信效率？ 对异步操作中存在的同步问题如何解决？ 对于共享存储型并行机 通信是通过共享存储器来实现的，但如何协调多个处理器同时访问相同的内存空间？ 对 SIMD 算法如何实现各处理器间的计算同步？ 如何使系统中各处理器的负载平衡？ 如何评价一个并行算法在给定并行机模型上的性能？ 第二章 并行计算与并行计算机概述（小结） 并行计算机的类型 PVP、SMP、MPP、DSM、COW SPMD、MPMD 并行算法性能的评价方法 概念：并行计算、分布计算、网格计算、云计算 并行粒度、并行处理、多道处理、巨型计算机、流水线计算、数据并行、控制并行、加速比、并行效率 并行计算机存储器访问模型：共享存储型、分布存储型 两个加速比定律 * * * SIMD系统也称为数据并行机 * SIMD系统也称为数据并行机 * * Array Computer 阵列(计算)机、向量计算机 ：把若干台处理机排列某种规则结构的阵列，实现并行运算的计算机。 阵列计算机用于向量运算时 现用的阵列计算机有两种主要类型： 1.松耦合型（） 各处理器分别拥有自己的局部内存和局部程序，处理器之间通过消息传递来互通信息。这样的系统中各处理器之间耦合较松消息传递速度慢，但一个系统中可以容纳数万个处理器，因而可实现大规模并行计算。 2.紧耦合型（） 所有处理器共享系统内存，通常是将多个存储体通过互连网络与多个处理器相连，处理器之间耦合紧密，运行效率高，但由于互连网络的复杂性所限，实际上允许包含的处理器个数不能太多，因而并行程度有限。 * * * * * * * * * * * * * * * * * * * * * S = Ws + Wp Ws + Wp/p = f W + (1-f) W f W +((1-f) W