并行计算作业一.docx

并行编程模型 概述 并行编程模型?是并行计算，尤其是并行软件的基础，也是并行硬件系统的导向。 并行编程模型可以按照以下几种方式进行表述： （1）数据并行和任务并行：根据并行程序是强调相同任务在不同数据单元上并行，还是不同任务在相同或不同数据上实现并行执行，可以将并行性分为两类：数据并行和任务并行。由于数据并行能获得的并行粒度比任务并行高，因此可以扩展并行机上的大多数程序采取数据并行方式。但是任务并行在软件工程上有很重要的作用 ，它可以使不同的组件运行在不同的处理单元集合上 ，从而获得模块化设计。人们越来越趋向予将并行程序组织成 为由数据并行组件组成的任务并行组合物。 （2）显式并行和隐式并行 ：并行编程系统可以根据支持显式或隐式并行编程模型来对其进行分类。显式并行系统要求编程人员直接制定组成并行计算的多个并发控制线程的行为；隐式并行系统允许编程人员提供一种高层的、指定程序行为但不显示表示并行的规范，它依赖于编译器或底层函数库来有效和正确地实现并行。越来越普遍的一种做法就是将算法设计的复杂性集成到函数库上，这样可以通过一系列对函数库的调用来开发应用程序。通过这种方式，可以在一种显式并行框架中获得隐式并行的某些好处。 （3）共享存储和分布存储 ：在共享存储模型中，程序员的任务就是指定一组通过读写共享存储进行通信的进程的行为。在分布存储模型中，进程只有局部存储 ，它必须使用诸如消息传递或远程过程调用等机制来交换信息。很多多核处理器体系结构都同时支持这两种模型。 共享存储体系结构下的并行编程模型主要是共享变量编程模型，它具有单地址空间、编程容易、可移植性差等特点，其实现有OpenMP和Pthreads等。分布式存储体系结构下的并行编程模型主要有消息传递编程模型和分布式共享编程模型两种:消息传递编程模型的特点是多地址空间、编程困难、可移植性好，其实现有MPI, PVM等;分布式共享编程模型是指有硬件或软件的支持，在分布式体系结构下实现的具有共享变量编程模型特点的编程模型。后者可以分别按照硬件或软件的实现分为DSM和SVM,其实现有TreadMark和JiaJia等，目前研究热点的分割全局地址空间(PGAS)模型的研究有 UPC等代表，具有很强的发展潜力。 并行编程模型的性的评价指标 (1)时间：程序串行运行时间是指在串行计算机上，程序从开始到运行结束所用的时间。并行运行程序是从并行计算开始时刻到最后的处理器完成运算所经过的时间。 (2)总并行开销：并行系统的开销函数或总开销为由所有处理器话费的总时间，除去在单个处理器上求解相同问题时最快的串行算法所需要的时间。所有处理器所用总时间减去完成有用工作所花费的时间，剩余部分即是开销。 (3)加速比：在单个处理器上求解问题所花的时间与用p个相同处理器并行计算机求解同一问题所花时间之比。 (4)效率：处理器被有效利用部分时间的度量，它定义为加速比与处理器数目的比率。在理想的并行系统中，加速比等于p，效率等于1。实际上，加速比小于p而效率在0和1之间，它依赖于处理器被利用的效率。 (5)成本：并行运行时间与所用处理器数目的乘积。成本反映每个处理器求解问题所花费时间的总和。 另外，移植性、伸缩性和对各类语言的支持度也是评价指标。 3．影响并行编程模型性能的关键因素 多核处理器系统采用单芯片多处理器核的设计，这些处理器核相互独立，每个拥有一套完整的硬件执行环境，可以同时执行多道指令。在高速缓存设计方面，每个核拥有独立的片上缓存和共享的最后一级缓存。基于多核处理器的系统特征，影响并行程序性能的因素主要包括存储带宽、片上缓存一致性和负载均衡。 （1）存储带宽。在多核系统中，最后一级缓存是被各个核所共享的，如果位于同核上的多个线程同时对不同的数据集进行操作，将会导致最后一级缓存与主存之间频繁地传送数据。由于在主存和缓存之间传送数据的速度远小于CPU的计算速度，因此有限的存储带宽成为了影响多核环境下并行程序性能的瓶颈。 （2）片上缓存一致性。所谓片上缓存一致性，是指多核系统中各个核的片上缓存位于相同存储空间上的数据必须保持一致。虽然多核系统共享的cache体系结构在最后一级cache上减少了cache一致性问题，但由于每个核都拥有独立的cache，很可能出现一个核上的cache数据和另一个核上不一致的现象，这通常发生在位于不同核上运行的两个线程写入位于同一cache行上的两个数据，即使某个线程所需的位于某个cache块中的数据没有被重写过，但存储系统还是会把该cache块标记无效，这就是通常意义上的伪共享问题Ⅲ。如果这样的多个核同时写入位于同一cache行上数据的操作非常频繁，将会严重影响程序的性能。 （3）负载均衡。在多核系统中，各核负载是否均衡也是影响程序性能的一个重要因素。如果出现某一核上在进行计算的