并行计算-多媒体课件-并行体系结构-lec03-evaluation.ppt

Amdahl’s law (cont’d) Gustafson定律 出发点： 对于很多大型计算，精度要求很高，即在此类应用中精度是个关键因素，而计算时间是固定不变的。此时为了提高精度，必须加大计算量，相应地亦必须增多处理器数才能维持时间不变； 除非学术研究，在实际应用中没有必要固定工作负载而计算程序运行在不同数目的处理器上，增多处理器必须相应地增大问题规模才有实际意义。 Gustafson加速定律 : 并行开销W o ： Gustafson定律（cont‘d) Sun 和 Ni定律 基本思想： 只要存储空间许可，应尽量增大问题规模以产生更好和更精确的解（此时可能使执行时间略有增加）。 假定在单节点上使用了全部存储容量M并在相应于W的时间内求解之，此时工作负载W= fW + （1-f）W。 在p 个节点的并行系统上，能够求解较大规模的问题是因为存储容量可增加到pM。令因子G（p）反应存储容量增加到p倍时并行工作负载的增加量，所以扩大后的工作负载W = fW + （1-f）G（p）W。 存储受限的加速公式 ： 并行开销W o: Sun 和 Ni定律(cont’d) G（p）=1时就是Amdahl加速定律； G（p）=p 变为 f + p（1-f），就是Gustafson加速定律 G（p）p时，相应于计算机负载比存储要求增加得快，此时 Sun和 N i 加速均比 Amdahl 加速和 Gustafson 加速为高。 加速比讨论 参考的加速经验公式： p/log p≤S≤P 线性加速比：很少通信开销的矩阵相加、内积运算等 p/log p的加速 比：分治类的应用问题 通信密集类的应用问题 ：S = 1 / C （ p ） 超线性加速 绝对加速：最佳并行算法与串行算法 相对加速：同一算法在单机和并行机的运行时间 可扩放性评测标准 并行计算的可扩放性（Scalability）也是主要性能指标 可扩放性最简朴的含意是在确定的应用背景下，计算机系统（或算法或程序等）性能随处理器数的增加而按比例提高的能力 影响加速比的因素：处理器数与问题规模 求解问题中的串行分量 并行处理所引起的额外开销（通信、等待、竞争、冗余操作和同步等） 加大的处理器数超过了算法中的并发程度 增加问题的规模有利于提高加速的因素： 较大的问题规模可提供较高的并发度； 额外开销的增加可能慢于有效计算的增加； 算法中的串行分量比例不是固定不变的（串行部分所占的比例随着问题规模的增大而缩小）。 增加处理器数会增大额外开销和降低处理器利用率，所以对于一个特定的并行系统（算法或程序），它们能否有效利用不断增加的处理器的能力应是受限的，而度量这种能力就是可扩放性这一指标。 可扩放性评测标准（cont‘d) 可扩放性:调整什么和按什么比例调整 并行计算要调整的是处理数p和问题规模W， 两者可按不同比例进行调整，此比例关系（可能是线性的，多项式的或指数的等）就反映了可扩放的程度。 并行算法和体系结构 可扩放性研究的主要目的： 确定解决某类问题用何种并行算法与何种并行体系结构的组合，可以有效地利用大量的处理器； 对于运行于某种体系结构的并行机上的某种算法当移植到大规模处理机上后运行的性能； 对固定的问题规模，确定在某类并行机上最优的处理器数与可获得的最大的加速比； 用于指导改进并行算法和并行机体系结构，以使并行算法尽可能地充分利用可扩充的大量处理器 目前无一个公认的、标准的和被普遍接受的严格定义和评判它的标准 等效率度量标准 令tie 和t io 分别是并行系统上第i个处理器的有用计算时间和额外开销时间（包括通信、同步和空闲等待时间等） T p 是p个处理器系统上并行算法的运行时间，对于任意i显然有T p = tie +t io ，且 T e+ T o= pT p 问题的规模W为最佳串行算法所完成的计算量W=Te 如果问题规模W 保持不变，处理器数p增加，开销To增大，效率E下降。为了维持一定的效率（介于0与1之间），当处理数p增大时，需要相应地增大问题规模W的值。由此定义函数f E（p）为问题规模W随处理器数p变化的函数，为等效率函数（ISO-efficiency Function）（Kumar1987） 等效率度量标准（cont‘d) 曲线1表示算法具有很好的扩放性；曲线2表示算法是可扩放的；曲线 3表示算法是不可扩放的。 优点：简单可定量计算的、少量的参数计算等效率函数 缺点：如果To无法计算出 等速度度量标准 p 表示处理器个数