加速比和可扩展性.ppt

加速比可以表示如下： 其中： 在单个处理机上顺序执行的工作负载与问题的规模或系统的规模无关，即： 而G(n)反映的是存储容量增加n倍时并行工作负载增加的倍数。 讨论： 1. G(n) = 1，即为固定负载的情况； 2. G(n) = n，即存储器增加n倍，负载也增加n倍，为固定时间的情形； 3. G(n) n，计算负载的增加情况比存储器增加快，会有较高的加速比。 比较三种加速比，对于相同的处理机数量，有： 在受限于存储器的加速比模型下，负载和执行时间随系统中处理机数目n变化的情况如下图： Ws Wp Ws Wp Ws Wp Ws Wp Workload N 1 2 3 4 Execution Time N Ts Tp 1 Ts Tp 2 Ts Tp 3 Ts Tp 4 规模扩展的工作负载 执行时间稍有增加 受限于存储器的加速比模型下的负载和执行时间情况 例： n维矩阵乘法：A * B = C，其中A、B、C都是n*n的方阵。为得到C的每一个元素需要进行n次乘法、n次加法，所以总的计算量为：（n+n)*n2 = 2n3。需要的存储量为3n2（两个源矩阵，一个结果矩阵）。如果n台计算机组成多计算机系统，则存储容量扩大n倍，那么矩阵的维数（原来为n)也可以增加了，设为N倍，那么加速比为多少？ 解：存储容量变为：nM = n* 3n2 = 3n3，而N维需要的存储量为3N2，计算量变为2N3，则有： 4.并行计算的应用模型 随机器规模的增大，工作负载增长的模式如下图： 工作负载 （问题规模） n θ （指数） γ （线性） β （亚线性） α （常数） 上图中： 采用受限于存储器的加速比模型中给出的公式， θ曲线对应的G(n) = n1.5 γ曲线对应的G(n) = n β曲线对应的G(n) = 0.5n α曲线对应的G(n) = 1 则有加速比公式: 给定一个程序，假设Ws/Wp = 0.4，那么效率为： 相应的处理器数目—效率曲线如下图： 效率 n θ （指数） γ （线性） β （亚线性） α （常数） 结论： 1.如果工作负载（问题规模）保持不变，那么效率E随机器规模的增大而迅速下降，其原因是开销h比机器规模增加得快，为了使效率保持在一定的水平上，我们可以按比例增大机器规模和问题规模。 2.如果工作负载按指数增长模式，效率要保持恒定或保持良好的加速比，必须使问题规模猛增才行，这样就会超过存储器或I/O限制，而问题规模只允许在计算机存储器可用的限度以内增长。 并行计算机的应用模型如下图： 通信界限 存储器界限 受限于存储器模型 工作负载 （问题规模） 机器规模 固定负载模型 固定时间模型 加速比性能模型与可扩展性分析 1 加速比性能分析 2 可扩展性分析 2.1 可扩展性 2.2 可扩展性分析 2 可扩展性分析 2.1 可扩展性 1.可扩展性与可编程性 增加 可扩展性 增加可编程性 分布存储的消息 传递型多计算机 共享存储型 多处理机 理想并行计算机 2.可扩展性指标 机器规模（n） 时钟频率（f） 问题规模（s） CPU时间（T） I/O需求（d） 存储容量（m） 通信开销（h） 计算机价格（c） 程序设计开销（p） 3.可扩展性的直观定义 对任意数量（n）的处理机和任意规模（s）的问题，若所有算法的系统效率 E = 1， 则系统是可扩展的。 4.规模可扩展性 系统性能随处理机数量线性增长，包括： 处理速度和效率 存储速度和容量 互连带宽和时延 I/O速度和容量 软件开销 规模可扩展性与空间局部性、时间局部性以及部件瓶颈都有关系。 例子： Cray Y-MP：16台处理机范围可伸缩 CM-2： 8K-64K台处理机范围可伸缩 CM-5： 1024-16K台处理机范围可伸缩 KSR-1： 8-1088台处理机范围可伸缩 5.换代（时间）可扩展性 对系统各部分更换成新技术后，性能随之易扩展，要求算法、S/W均能兼容运行。 6.问题可扩展性 问题规模扩大时，系统仍能很好的运行，或说问题规模扩展到很大时，系统能在给定粒度下高效运行。 2.2 可扩展性 1.恒等效率概念（Isoefficiency） 恒等效率定义为一个并行算法在并行计算机上实现时，为保持效率E固定所需的工作负载与机器规模n的相对关系。 设: W = W（s）为工作负载， h = h （s，n）为通信开销，它随s、n增加而增大。其中，s为问题规模，n为机器规模。 则效率可以表示为： 问题的关键在于W（s）与h（s，n）之间的相对增长速度。机器规模一定，开销h的增长比工作负载W要慢。因而，