并行算法的设计与分析1.pptxVIP

并行算法的设计与分析 第3版 五.并行算法的可扩展性(可扩放性,Scalability) 2. 并行算法的可扩展性度量 并行算法的可扩展性是指度量并行系统、并行算法、并行程序能否有效利用不断增加的处理器的能力 增加处理器数目和扩大问题规模有可能提高加速比 影响加速的因素: 求解问题中串行执行部分比例 并行处理引起额外开销(通信、等待、竞争、同步、冗余操作） 增加的处理器数目超过了算法中的并发程度 增加问题规模有利于提高加速 较大的问题规模可提供较高的并发度 额外开销的增加可能慢于有效计算的增加 算法中串行执行部分的比例可能随着问题规模的增加而缩小 2. 并行算法的可扩展性度量 并行算法的等效率函数 令tc(i)和tO(i)分别为第i个处理器的有用计算时间和额外开销时间，Tc= tc(0) +tc(1)+…+ tc(p-1)， TO= to(0) +to(1)+…+ to(p-1)。 令Tp为p个处理器运行并行算法所需的时间，则Tp = tc(i)+tO(i)并且pTp = Tc + TO 设问题规模W为最佳串行算法完成的工作量，则W = Tc Sp= Tc /Tp= Tc / ((Tc+To)/p)= p / (1+ To / Tc) = p / (1+ To / W) Ep= Sp /p=1/( 1+ To / Tc )=1/ (1+ To / W) 为了维持效率Ep不变，当p增大（TO增大）时，必须增加计算量W（ Tc）。 等效率函数fE(p)：问题规模W随处理器数目p变化的函数。 并行算法可扩展性判断标准 为了维持效率不变，当p增大时，若仅需增加较小的工作量（问题规模）W——W随p增大而线性/亚线性增长，则称并行算法具有良好的可扩展性；否则，称为不可扩放的。 1.5 并行算法的同步与通信 一、并行算法的同步 同步是在时间上强使各执行进程在某一点必须互相等待，确保各进程的正常顺序和对共享可写数据的正确访问。 可用软件、硬件和固件的办法来实现同步： SIMD-SM(PRAM)/SIMD-IN上并行算法由硬件实现同步。 MIMD-SM (APRAM) 上并行算法由软件（算法）实现同步：例如，使用lock和unlock等同步语句显式设置临界区实现多个并发进程（线程）对共享变量的互斥访问。算法复杂度包括进程生成时间、进程结束同步时间。 同步示例 MIMD-SM (APRAM)上的异步并行求和算法 输入：A=(a0,…,an-1), 处理器数p 输出：S=Σai Begin (1) S=0； //共享全局变量（和） (2.3) lock(S) // 同步 (2) for all Pi where 0≤i≤p-1 para-do S=S+L； (2.1) L=0 ； //局部变量（和） (2.4) unlock(S) (2.2) for j=i to n step p do end for L=L+aj ； End end for |--------------- 并发（并行）执行 ---------------- | P0 P1 …… P p-2 Pp-1 (主）进程0 进程1 …… 进程p-2 进程p-1 i=0 i=1 …… i= p-2 i= p-1 |