第二章加速比性能模型与可扩展性说课.ppt

第二章 加速比性能模型与可扩展性分析 2.1 加速比性能分析 2.1.1 一般概念 2.1.2 加速比 2.1.3 三种加速比性能模型 2.2 可扩展性分析 2.1 加速比性能模型 2.1.1 一般概念 1.处理机—时间积 处理机数目与处理时间的乘积用以度量这些处理机运行时的资源利用率。 若一程序在?P台处理机上运行的时间为Tp，则此P台处理机在Tp时间间隔内完成的工作最大数量为Tp * P。 可将处理机实际工作曲线对时间的积分看成是这些处理机完成的有效工作量。 效率为有效工作量与最大工作量之比。 2.并行度（Degree Of Parallelism—DOP） 并行度（DOP）是在一定时间间隔内执行一个程序所用的处理机的数目。 3.并行性分布图 执行一个给定的程序时DOP对时间的分布图。 DOP与对应时间的间隔之积即为处理机要完成的工作或工作负载。 下图所示为一个并行性分布图。 2.1.2 加速比 1. 绝对加速比 将最好的串行算法与并行算法相比较. 定义一（与具体机器有关）将最好的串行算法在一台上的运行时间与并行算法在N台运行的时间相比。 定义二（与具体机器无关）将最好的串行算法在最快的顺序机上的执行时间与并行算法在并行机上的运行时间相比。 2.相对加速比 同一并行算法在单节点上运行时间与在多个相同节点构成的处理机系统上的运行时间之比。 这种定义侧重于描述算法和并行计算机本身的可扩展性。 2.1.3 三种加速比性能模型 1.固定负载加速比性能模型—Amdahl定律 在许多实时应用领域，计算负载的大小常固定。在并行机中，此负载可分布至多台并行执行，获得的加速比称为fixed-load speedup。一个问题的负载可表示如下： W = Ws + Wp 其中，Ws代表问题中不可并行化的串行部分负载， Wp表示可并行化的部分负载。 则n个节点情况下，加速比可以表示如下： 设串行因子α为串行部分所占的比例。即 效率En可以表示为： 结论：加速比曲线随α的上升急剧下降，原因是存在顺序部分Ws，无法用增加系统的处理机数目来解决。这一性质在过去二十年间给人们造成了对并行处理非常悲观的印象。 影响：两种意见： 1.劝阻制造商生产大规模并行计算机。 2.研究并行编译器，以降低α的值，从而提高系统的性能。 规定负载加速比模型的可能应用范围： 对时间要求严格的应用问题。 第二章 加速比性能模型与可扩展性分析 2.1 加速比性能分析 2.2 可扩展性分析 2.2.1 可扩展性 2.2.2 可扩展性分析 并行计算机的应用模型如下图： 通信界限 存储器界限 受限于存储器模型 工作负载 （问题规模） 机器规模 固定负载模型 固定时间模型 2.2 可扩展性分析 2.2.1 可扩展性 1.可扩展性与可编程性 增加 可扩展性 增加可编程性 分布存储的消息 传递型多计算机 共享存储型 多处理机 理想并行计算机 2.可扩展性指标 机器规模（n） 时钟频率（f） 问题规模（s） CPU时间（T） I/O需求（d） 存储容量（m） 通信开销（h） 计算机价格（c） 程序设计开销（p） 3.可扩展性的直观定义 对任意数量（n）的处理机和任意规模（s）的问题，若所有算法的系统效率 E = 1， 则系统是可扩展的。 4.规模可扩展性 系统性能随处理机数量线性增长，包括： 处理速度和效率 存储速度和容量 互连带宽和时延 I/O速度和容量 软件开销 规模可扩展性与空间局部性、时间局部性以及部件瓶颈都有关系。 例子： Cray Y-MP：16台处理机范围可伸缩 CM-2： 8K-64K台处理机范围可伸缩 CM-5： 1024-16K台处理机范围可伸缩 KSR-1： 8-1088台处理机范围可伸缩 5.换代（时间）可扩展性 对系统各部分更换成新技术后，性能随之易扩展，要求算法、S/W均能兼容运行。 6.问题可扩展性 问题规模扩大时，系统仍能很好的运行，或说问题规模扩展到很大时，系统能在给定粒度下高效运行。 2.2.2 可扩展性 1.恒等效率概念（Isoefficiency） 恒等效率定义为一个并行算法在并行计算机上实现时，为保持效率E固定所需的工作负载与机器规模n的相对关系。 设: W = W（s）为工作负载， h = h （s，n）为通信开销，它随s、n增加而增大。其中，s为问题规模，n为机器规模。 则效率可以表示为： 问题的关键在于W（s）与h（s，