527-并行算法实践.pptVIP

现代密码学理论与实践之五 并行算法实践 SMP集群上MPI与OpenMP混合编程 SMP集群体系架构 SMP集群体系架构 每节点为单个计算机系统且配备一份OS 节点间属分布存储；节点内为共享存储 两级并行 节点间－－消息传递 节点内－－共享变量 典型机器 IBM ASCI White、Sun Ultra HPC、SGI Origin 国产的曙光3000 SMP集群编程模型 根据呈现给程序员的编程界面层次数分为两类 ： 单一存储模型SMM(Single Memory Model) 混合存储模型HMM(Hybrid Memory Model) SMP集群编程模型 单一存储模型－－具有编程界面简单、直观，大量细节被隐藏，易于算法实现等优点，但其性能大大影响了该模型的广泛应用，因为性能受底层硬件实现机制的约束。 它又可以细分为： 纯共享ASMM(All Shared Memory Model) 如各种DSM和SVM系统。 纯消息传递模型AMPM(All Message Passing Model) 如不支持共享存储，则将SMP集群看作普通的集群。 SMP集群编程模型 混合存储模型 －－在SMP集群体系结构下，同时使用共享变量和消息传递两种编程界面的模型。针对SMP集群的特点，节点内利用共享存储进行通信，节点间采用分布式存储的消息传递进行通信。 混合存储模型，因为它是针对SMP集群体系结构提出的，是SMP集群体系结构下编程模型中性能最高的。但它也有着难以使用的缺点，因为程序员需要同时掌握两种编程界面，无疑对普通程序员来说困难一些。 SMP集群混合编程模型 MPI+Thread VS. MPI+OpenMP OpenMP和Thread的根本实现机制一致，都是由操作系统支持的线程实现 OpenMP比Thread易用性高很多。OpenMP直接提供了大量的并行操作语句，也封装了线程的同步和互斥操作，而使用Thread模型时却还要考虑繁杂的线程间的同步和互斥，无疑易用性远远不及OpenMP。 例如，Pthreads不支持增量并行化，给定一个串行计算程序，用户很难使用Pthreads将其并行化，用户必须考虑很多低级细节，因而Pthreads不能很自然的支持循环级并行，用户需大量修改串行代码，而OpenMP能灵活的支持粗粒度和细粒度并行化，很多串行代码能够简单的并行化 MPI+Thread VS. MPI+OpenMP 使用Thread模型是一种低级的方法，因为它们一般使用库方法，而不是编译制导法，库方法妨碍编译优化 虽然Thread的计算性能好于OpenMP，但只是略优于OpenMP，而这点性能差别与易用性和其他性能的巨大差别比较起来微不足道。 我们选择MPI＋OpenMP MPI+OpenMP混合编程 MPI执行模型 MPI+OpenMP混合编程 OpenMP执行模型 MPI+OpenMP混合编程 MPI+OpenMP混合编程 MPI+OpenMP混合编程 MPI+OpenMP混合编程 MPI+OpenMP混合编程 MPI+OpenMP混合编程 节点内并行化粒度－－有粗粒度并行化和细粒度并行化两种方法。 MPI+OpenMP混合编程 节点内选择细粒度并行化，将可以达到性能和易用性两方面的兼顾，这是因为： 绝大多数程序主要的计算量都在循环中，而细粒度并行化主要针对循环进行并行化； 细粒度并行化比粗粒度并行化的工作量大大降低，程序员几乎不用关心其它并行化的细节，而只要在循环计算外使用OpenMP编译制导指令并行化即可，这样的工作量即便是相对单一编程界面来讲，也大不了多少； 细粒度并行化方法对已有的MPI程序移植到SMP集群上，无疑也是最好的方法。 MPI+OpenMP混合编程 细粒度并行化中循环选择可以遵循以下原则： 应该选择计算时间占全局计算时间比例大的循环来进行并行化，这样才能显著提高性能； 由于循环并行化会带来调度的开销，我们应该选择那些并行化后性能仍可以提高的循环。这就意味着对于计算量小的循环，我们应该直接放弃对它并行化； 循环选择还有一个重要的问题就是并行化循环不能改变循环的原来语义。对循环进行并行化时，可能会改变循环的原来语义，这种情况存在跨迭代依赖关系的循环中可能会出现。因而对于并行化可能会改变原来语义的循环，我们也不能进行并行化。 （可以考虑修改原有循环。） MPI+OpenMP混合编程 优化措施 在OpenMP并行区域内不要通信（这里的通信指的是不同节点内的线程间的通信），在节点中多线程共用的代码间的通信会急剧增加带宽竞争； 在单个线程中也尽量不要通信，因为通信一般都蕴含着同步操作，这会使得性能大大下降。如果必须在线程中通信，也应把通信次数尽可能的减少，或