多核程序设计（曲冠南）2 并行计算基础（字体修正版）.pptxVIP

多核程序设计吉林大学计算机科学与技术学院曲冠南邮箱：gnqu@jlu.edu.cn第二章 并行计算基础小节章节重点内容2.0关于并行计算什么是并行计算，怎么并行计算2.1并行计算机体系结构多级存储体系，Cache，并行访存模型。2.2并行计算模型同步并行计算和异步并行计算模型；PRAM，BSP，logP, C3模型2.3进程复习进程知识2.4线程复习线程知识2.5并行编程环境依据并行化粒度2.6编程语言与编译器介绍几种流行的并行编译技术2.7并行计算性能评测三大定律，性能评测方法，程序性能优化2.8常用并行数值算法从操作数的角度并行化2.9并行编译器流分析、代码优化2.0并行计算并行计算就是将一个大规模的计算问题分解成若干小的任务，通过运行在多个运算部件上的这些小任务的合作来求解一个规模很大的计算问题的一种方法。作用： 规模不变： 并行计算既能降低单个问题求解的时间； 问题求解时间不变： 增加问题求解规模，如提高精度。2.0并行计算从任务的角度来说强并行计算：如果一个计算由若干子计算构成，若各子计算之间不存在依赖关系，可以并行计算，那么这种计算可以称为强并行计算。弱并行计算：如果一个计算由若干子计算构成，若各子计算之间存在依赖关系，不能并行计算，但是单个的子计算内又可以分解为若干更小粒度的子计算，且这些更小粒度的子计算是可以并行执行的，这种并行计算可以称为弱并行计算。 从应用对象的角度来说 计算密集型应用，如大型科学工程计算与数值模拟；数据密集型应用，如数字图书馆、数据仓库、数据挖掘和计算可视化等；网络密集型应用，如协同工作、遥控和远程医疗诊断等。2.0并行计算并行层次与代码粒度 指令级并行：在多个并行层次中指令级并行是代码粒度最小的并行，也称为微粒度并行、甚细粒度并行；数据级并行：又称为细粒度并行，它比指令级并行所执行的代码粒度要大一些，一般长度为几百条指令，这类并行通常都是在编译阶段由编译器来负责实现的 ；控制级并行：也叫中粒度并行，通常是面对过程、子过程，其代码的长度一般为几千条指令。这一级的并行通常需要程序员的参与，一般情况下必须由程序员先对过程间的数据依赖关系进行分析然后再开发出相应的并行性； 任务级并行：任务级并行也叫做作业级并行、粗粒度并行，其代码的长度一般可高达数万条指令，一般是由加载程序和操作系统来负责处理的。 途径处理机编译器程序员操作系统2.0并行计算总之：细粒度并行通常是在基本块或循环级上通过并行化或向量化编译器来开发的；中粒度并行一般要求由程序员和编译器共同来开发；粗粒度的并行性的开发则主要依赖于高效的操作系统和所用并行算法的效率。在通信方面，共享变量的通信常用来支持细粒度和中粒度并行计算；消息传递的通信常用来支持中粒度和粗粒度并行计算。一般而言，并行粒度越小，通信和调度的开销也越大；粒度越大，所开发的并行性的潜力也就越低，但是通信和调度的开销也就越小。2.0并行计算并行程序的开发策略 第一种是采用将已有的串行程序进行自动并行化的方法来开发适合于并行计算机运行的并行程序；第二种是调用并行库来实现并行程序的开发；第三种是使用并行语言重新编写能运行于高性能并行计算机上的并行代码。2.0并行计算并行程序设计模式的基本思路对数据进行分解，将大的数据块分解成若干小块，每个线程处理其中的某些小块；对计算过程进行分解，将一个大的计算处理过程分解成若干可独立运行的子过程，然后每个线程运行其中的一个或多个子过程；基于问题进行分解，将一个原问题分解为若干子问题，然后将子问题的解合并起来成为原问题的解。2.0并行计算并行程序设计模式 数据分解模式：将数据分解成若干独立的子数据块，每个线程处理其中的一个或多个子数据块；分治模式：将一个原问题的求解分解为多个子问题的求解，然后再将多个子问题的解通过一定的计算方法合并为原问题的解；流水线模式：将一个计算过程分解成流水线式的多个步骤序列，对于每个步骤的处理使用一个或多个线程来实现；任务并行模式：将一个大的静态计算任务分解成若干独立的小计算任务，让这些小计算任务并行执行；任务图调度模式：将一个大的静态任务分解成若干小的计算任务时，由于很多时候各个小任务在执行时许多非独立的小任务之间存在依赖关系，将这种依赖关系通过一个无环有向图来描述，这个图就是任务图，对它的并行化方法是任务调度问题，这就是任务图调度模式;动态任务调度模式:任务图调度模式调度的是静态的任务，但是在很多情况下任务不是静态的而是在运行过程中动态产生的。运用共享资源分布式计算的知识实现的关于动态任务调度的并行模式就是动态任务调度模式，它的突出特点就是可以实现并行计算。2.1 并行计算机体系结构组成并行计算机的各个部分：节点（node）：每个节点由处理器构成，可以直接输入输出。互联网络（interconnect n