并行程序设计Chpter-1H.pptVIP

二、性能度量(1/2) ① 执行时间(execution time) 完成一个并行计算所花费的时间 另一个常用指标 FLOPS(floating-point operations per second)：浮点运算次数/秒 1GFlops = 109次浮点运算/秒，10亿次 1TFlops = 1000GFlops，万亿次 1PFlops = 1000TFlops，千万亿次 1EFlops = 1000PFlops，百亿亿次 常用做衡量处理器和并行计算机计算性能的指标 峰值性能(peak performance)：理想状态可达到的最高性能 应用性能：应用程序实际运行获得每秒浮点运算次数 常用有代表性的基准测试程序，如Linpack、Lapack、NPB等 不同处理器指令系统有差异性， MIPS(million instructions per second)指标难以客观地反映处理器计算性能 1.3 并行性与程序性能 二、性能度量(2/2) ② 加速比(speedup) 常用来衡量并行加速的效果，以及随处理器/任务数增长的变化情况 超线性加速比(superlinar speedup) 某些情形下，计算能获得超过线性的加速比 大多是由于并行后每节点访问的数据集变小，cache命中率提高 加速比(speedup)是度量一个并行程序性能和可扩展性的常用指标 1.3 并行性与程序性能 1.3 并行性与程序性能 三、性能损失的原因 通常情况下，使用P个处理器并不能使计算加速P倍 也就是说，通常很难获得线性加速比 原因之一：并行开销(出现在并行求解而不会出现在串行求解中的代价) 通信(communication) 线程间和进程间通信，主要开销 同步(synchronization) 一个线程/进程必须等待另一个线程/进程中出现的事件 计算 串行求解时不存在的额外计算，如计算各线程的计算任务，这部分开销较小 存储器 计算规模受制于存储器容量 1.3 并行性与程序性能 三、性能损失的原因 原因之二：无法并行的计算部分 如果一个计算在本质上是串行的，则使用多个处理器并不能提高其性能 Amdahl’s Law 基本思想：系统中某一部件由于采用更快的执行方式后，整个系统性能的提升与这种执行方式的使用频率或占总执行时间的比例有关 对并行计算，假设程序的1/S是串行的(不可并行)，程序串行执行时间是Ts，则并行执行时间Tp计算如下： 性能改善与S密切相关，S越大，说明可并行计算的部分越多 程序中被频繁执行的部分(密集计算部分)应首先被并行化 1.3 并行性与程序性能 三、性能损失的原因 原因之三：闲置的处理器 计算过程中，可能有部分处理器在某些时间处于空闲状态 原因： 负载不平衡 存储器受限计算 同步与通信 … 原因之四：对资源的竞争 多个线程/进程竞争共享资源导致性能下降 1.3 并行性与程序性能 四、并行结构 相关性(dependence)，又称为依赖关系 相关性是指两个计算之间的顺序关系 相关性使我们可以区分哪些操作必须顺序进行以保证正确性，哪些操作不必顺序进行 一种典型的相关性：数据相关性(data dependence) 流相关(flow dependence)：写后读 反相关(anti dependence)：读后写 输出相关(output dependence)：写后写 sum = a + 1; first_term = sum * scale1 sum = b + 1; second_term = sum * scale2 伪相关 真相关 first_sum = a + 1; first_term = first_sum * scale1 second_sum = b + 1; second_term = second_sum * scale2 消除反相关 流相关 流相关 反相关 1.3 并行性与程序性能 四、并行结构 相关性限制并行性 相关性在很大程度上会限制并行性 在编写并行程序时，要尽量避免引入相关性 易并行计算(embarrassingly parallel computtations) 某些计算很容易并行化，它们由大量没有相关性的线程组成，这类计算称为易并行计算 1.3 并行性与程序性能 四、并行结构 粒度(Granularity) 并行的粒度 并行粒度由进程/线程间的交互频率所决定，即跨越进程/线程边界的相关性的频率。频率可用交互的指令数衡量 粗粒度(coarse grain)：进程/线程依赖于其他进程/线程数据或事件的频率较低 细粒度(fine grain)：进程/线程间交互频繁的计算 粒度概念的应用 较细粒度的计算适合在通信时延较低的平台上运行，如多