第二章并行计算基础.pptVIP

* * 程序性能优化 并行程序性能优化——并行程序的性能优化相对于串行程序而言就有些复杂了，最主要的是选择好的并行算法和通信模式，下面介绍一下常用的并行程序优化技术 减少通信量、提高通信粒度：主要有三个途径：较少通信量、提高通信粒度和提高通信中的并发度。提高通信粒度的有效方法就是减少通信次数，尽可能将可以一次传递的数据合并起来一起传递； 全局通信尽量利用高效集合通信算法：当组织多个进程之间的集合通信时，使用高效的通信算法可以大大地提高通信效率，从而降低通信开销； 挖掘算法的并行度，减少CPU空闲等待：些具有数据相关性的计算过程会导致并行运行的部分进程空闲等待。在这种情况下，可以考虑改变算法来消除数据相关性 ； 程序性能优化 并行程序性能优化 负载平衡：是导致进程空闲等待的另外一个重要因素。在设计并行程序时应该充分考虑负载平衡问题，动态调整负载时要考虑负载调整的开销及由于负载不平衡而引起的空闲等待对性能的影响，寻找最优负载调整方案； 通信、计算的重叠：通常让通信和计算重叠进行，利用计算时间来屏蔽通信时间，是减少通信开销得非常有效的方法。实现通信与计算重叠的方法一般基于非阻塞通信，先发出非阻塞的消息接受或发送命令，然后处理与收发数据无关的计算任务，完成这些计算后再等待消息收发的完成 ； 通过引入重复计算来减少通信，即以计算换通信 ：适当引入一些重复计算，可以减少通信量和通信次数。由于当前大部分并行计算机的计算速度远远大于通信速度，并且在一些情况下，当一个进程计算时，别的进程往往处于空闲等待状态，因而适当引入重复计算可以提高程序的总体性能 。 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 第二章 并行计算基础 并行计算： 并行计算就是将一个大规模的计算问题分解成若干小的任务，通过运行在多个运算部件上的这些小任务的合作来求解一个规模很大的计算问题的一种方法。 强并行计算：如果一个计算由若干子计算构成，若各子计算之间不存在依赖关系，可以并行计算，那么这种计算可以称为强并行计算。 弱并行计算：如果一个计算由若干子计算构成，若各子计算之间存在依赖关系，不能并行计算，但是单个的子计算内又可以分解为若干更小粒度的子计算，且这些更小粒度的子计算是可以并行执行的，这种并行计算可以称为弱并行计算。 并行计算的应用 预测模型的构造和模拟、工程设计和自动化、能源勘探、医学、军事以及基础理论研究等领域中都对计算提出了极高的要求。 并行计算三种主要的基本类型： 计算密集型应用，如大型科学工程计算与数值模拟； 数据密集型应用，如数字图书馆、数据仓库、数据挖掘和计算可视化等； 网络密集型应用，如协同工作、遥控和远程医疗诊断等。 第二章 并行计算基础 并行程序开发方法 并行层次与代码粒度 指令级并行：在多个并行层次中指令级并行是代码粒度最小的并行，也称为微粒度并行、甚细粒度并行； 数据级并行：又称为细粒度并行，它比指令级并行所执行的代码粒度要大一些，一般长度为几百条指令，这类并行通常都是在编译阶段由编译器来负责实现的 ； 控制级并行：也叫中粒度并行，通常是面对过程、子过程，其代码的长度一般为几千条指令。这一级的并行通常需要程序员的参与，一般情况下必须由程序员先对过程间的数据依赖关系进行分析然后再开发出相应的并行性； 任务级并行：任务级并行也叫做作业级并行、粗粒度并行，其代码的长度一般可高达数万条指令，一般是由加载程序和操作系统来负责处理的。 并行程序开发方法 并行程序的开发策略 第一种是采用将已有的串行程序进行自动并行化的方法来开发适合于并行计算机运行的并行程序； 第二种是调用并行库来实现并行程序的开发； 第三种是使用并行语言重新编写能运行于高性能并行计算机上的并行代码。 并行程序设计模式 并行程序设计模式的基本思路 对数据进行分解，将大的数据块分解成若干小块，每个线程处理其中的某些小块； 对计算过程进行分解，将一个大的计算处理过程分解成若干可独立运行的子过程，然后每个线程运行其中的一个或多个子过程； 基于问题进行分解，将一个原问题分解为若干子问题，然后将子问题的解合并起来成为原问题的解。 并行程序设计模式 并行程序设计模式 数据分解模式：将数据分解成若干独立的子数据块，每个线程处理其中的一个或多个子数据块； 分治模式：将一个原问题的求解分解为多个子问题的求解，然后再将多个子问题的解通过一定的计算方法合并为原问题的解； 流水线模式：将一个计算过程分解成流水线式的多个步骤序列，对于每个步骤的处理使用一个或多个线程来实现； 并行程序设计模式 并行程序设计模式 任务并行模式：将一个大的静态计算任务分解成若干独立的小计算任务，让这些小计算任务并行执行；