并行计算3.pptVIP

* 主讲:雷向东 中南大学信息科学与工程学院 Central South University School of Information Science and Engineering 并行计算——结构?算法?编程 * 第三章计算复杂性理论 加速比性能定律 并行系统的加速比是指对于一个给定的应用，并行算法（或并行程序）的执行速度相对于串行算法（或串行程序）的执行速度加快了多少倍。 (1)Amdahl 定律 (适用于固定计算负载) (2)Gustafson 定律 (适用于可扩放问题) (3)Sun Ni 定律 (受限于存储器) 可扩放性评测标准 (1)等效率度量标准 (2)等速度度量标准 (3)平均延迟度量标准 * CPU的并行执行时间 设T comput 为计算时间， T paro 为并行开销时间， T comm为相互通信时间 并行执行时间T n = T comput + T paro+ T comm * 并行开销 典型的整体通信有： 播送（Broadcasting）：处理器0发送m个字节给所有的n个处理器 收集（Gather）：处理0接收所有n个处理器发来在消息，所以处理器0最终接收了m n个字节； 散射（Scatter）：处理器0发送了m个字节的不同消息给所有n个处理器，因此处理器0最终发送了m n个字节； 全交换（Total Exchange）：每个处理器均彼此相互发送m个字节的不同消息给对方，所以总通信量为mn2个字节； 循环移位（Circular-shift）：处理器i发送m个字节给处理器i+1，处理器n-1发送m个字节给处理器0，所以通信量为m n个字节。 Amdahl定律 加速定律的基本出发点是：1.对于很多科学计算，实时性要求很高，即在此类应用中时间是个关键因素，而计算负载是固定不变的。为此在一定的计算负载下，为达到实时性可利用增加处理器数来提高计算速度；2.因为固定的计算负载是可分布在多个处理器上的，这样增加了处理器就加快了执行速度，从而达到了加速的目的。在此意义下，1967年Amdahl推导出了固定负载的加速公式。 阿姆达尔定律是计算机系统设计的重要定量原理之一，于1967年由IBM360系列机的主要设计者阿姆达尔首先提出。该定律是指：系统中对某一部件采用更快执行方式所能获得的系统性能改进程度，取决于这种执行方式被使用的频率，或所占总执行时间的比例。阿姆达尔定律实际上定义了采取增强（加速）某部分功能处理的措施后可获得的性能改进或执行时间的加速比。简单来说是通过更快的处理器来获得加速是由慢的系统组件所限制。 * * P：处理器数； W：问题规模（计算负载、工作负载，给定问题的总计算量）； Ws：应用程序中的串行分量，f是串行分量比例（f = Ws/W， Ws=W1）； WP：应用程序中可并行化部分，1-f为并行分量比例； W=Ws +W p ； Ts=T1 ：串行执行时间，T p ：并行执行时间； S：加速比； 出发点： 固定不变的计算负载； 固定的计算负载分布在多个处理器上的， 增加处理器加快执行速度，从而达到了加速的目的。 Amdahl定律 * Amdahl定律 固定负载的加速公式： W s+ W p可相应地表示为f+（1-f）  p→∞时，上式极限为： S= 1 / f W o为额外开销 例如：某部件的处理时间仅为整个运行时间的40%，如果将该部件的处理速度加快到10 倍，即Fe=0.4, Se=10，根据Amdahl定律，加速比为：　 采用加快措施后能使整个系统的性能提高1.56倍 Amdahl定律 Amdahl定律 在多处理器下，Amdahl定律 S=1/(1-f+f/p) 其中，f为并行计算部分所占比例，p为并行处理结点个数。当1-f=0时，(即没有串行，只有并行)最大加速比s=p；当f=0时（即只有串行，没有并行），最小加速比s=1；当p→∞时，极限加速比s→ 1/（1-f），这也就是加速比的上限。例如，若串行代码占整个代码的25%，则并行处理的总体性能不可能超过4。 * Amdahl定律 * 例如，经测试发现，（1）一个串行程序，94%的执行时间花费在一个可以并行化的函数中。现使其并行化，问该并行程序在10个处理机上执行所能达到的加速比是多少？能达到的最大加速比是多少？（2）一个并行程序，在单个处理机上执行，6%的时间花费在一个I/O函数中，问要达到加速比10，至少需要多少个处理机？ （1）由Amda