（精）第一章 加速比.pptVIP

2.固定时间加速比性能模型—Gustafsun定律 有许多应用领域强调精度而不是运行时间。1988年，Gustafsun提出了固定时间加速比模型。当机器的规模扩大时，解题的规模也随着扩大，从而得到更加精确的解，而使运行时间保持不变。 比如：有限元方法做结构分析，流体动力学做天气预报解PDE(偏微分方程组）就需要提高精度。 粗格要求的计算量较少，而细格的计算量多，得到的精确度也较高。天气预报模拟求解四维PDE，如果使每个实际方向（X，Y，Z）的格点距离减少10倍，并以同一幅度增加时间步，那么可以说格点增加了104倍，因而工作负载也至少增大了10000倍。 模型提出的背景： 固定负载模型有缺陷：因为Amdahl’law中，α取决于问题及并行编译器的效率，无法描述系统固有的特性。 加速比的公式： 其中，Wp’=nWp和Ws+Wp=Ws’+Wp’/n作为固定时间的条件。 Ws’+Wp’/n表示在扩大负载后在增加处理机台数的情况下的平均负载（执行时间），它应当和负载没有扩大情况下的平均负载（执行时间）Ws+Wp相等。即有Ws+Wp=Ws’+Wp’/n。同时，负载的串行部分并没有改变，即有Ws=Ws’。 在固定时间加速比模型下，负载和执行时间随系统中处理机数目n变化的情况如下图： Ws Wp Ws Wp Ws Wp Ws Wp Workload N 1 2 3 4 Execution Time N Ts Tp 1 Ts Tp 2 Ts Tp 3 Ts Tp 4 并行负载不断增加 执行时间固定 固定时间加速比模型下的负载和执行时间情况 增大问题规模的办法使所有处理机保持忙碌状态，在问题扩大到与可用的计算能力匹配时，程序中的顺序部分就不再是瓶颈了。 当处理器数目n=1024，加速比Sn随α变化的情况如下： Sn’ α 1024 1014 1004 993 983 3.受限于存储器的加速比模型 1993年，由Sun和Ni提出。 大型科学计算和工程设计需要较大的存储空间，许多应用问题是存储器受限，而不是CPU受限或者I/O受限。 比如：在分布存储系统中常遇到，总存储容量随节点数线性增加，许多节点集合起来解一个大题。 基本思想：要在存储空间有限条件下解尽可能大的问题，这同样需要扩展工作负载，才能提供较高的加速比、较高的精度和较好的资源利用率。 加速比可以表示如下： 其中： 在单个处理机上顺序执行的工作负载与问题的规模或系统的规模无关，即： 而G(n)反映的是存储容量增加n倍时并行工作负载增加的倍数。 讨论： 1. G(n) = 1，即为固定负载的情况； 2. G(n) = n，即存储器增加n倍，负载也增加n倍，为固定时间的情形； 3. G(n) n，计算负载的增加情况比存储器增加快，会有较高的加速比。 比较三种加速比，对于相同的处理机数量，有： 在受限于存储器的加速比模型下，负载和执行时间随系统中处理机数目n变化的情况如下图： Ws Wp Ws Wp Ws Wp Ws Wp Workload N 1 2 3 4 Execution Time N Ts Tp 1 Ts Tp 2 Ts Tp 3 Ts Tp 4 规模扩展的工作负载 执行时间稍有增加 受限于存储器的加速比模型下的负载和执行时间情况 例： n维矩阵乘法：A * B = C，其中A、B、C都是n*n的方阵。为得到C的每一个元素需要进行n次乘法、n次加法，所以总的计算量为：（n+n)*n2 = 2n3。需要的存储量为3n2（两个源矩阵，一个结果矩阵）。如果n台计算机组成多计算机系统，则存储容量扩大n倍，那么矩阵的维数（原来为n)也可以增加了，设为N倍，那么加速比为多少？ 解：存储容量变为：nM = n* 3n2 = 3n3，而N维需要的存储量为3N2，计算量变为2N3，则有： 4.并行计算的应用模型 随机器规模的增大，工作负载增长的模式如下图： 工作负载 （问题规模） n θ （指数） γ （线性） β （亚线性） α （常数） 上图中： 采用受限于存储器的加速比模型中给出的公式， θ曲线对应的G(n) = n1.5 γ曲线对应的G(n) = n β曲线对应的G(n) = 0.5n α曲线对应的G(n) = 1 则有加速比公式: 给定一个程序，假设Ws/Wp = 0.4，那么效率为： 并行计算机的应用模型如下图： 通信界限 存储器界限 受限于存储器模型 工作负载 （问题规模） 机器规模 固定负载模型 固定时间模型 第一章 加速比性能模型与可扩展性分析 1.3可扩展性分析 1.3.1 可扩展性 1.3.2 可扩展性分析 1.3可扩展性分析 1.3.1 可扩展性