第8章 并行处理技术和多处理机.pptVIP

第8章 并行处理技术和多处理机 8.1 概　述 8.2 并行处理技术及发展 8.3 SIMD并行处理机 8.4 多处理机结构 8.5 多处理机高速缓冲存储器（Cache）一致性 8.6 并行处理软件 8.7 多处理计算机系统举例 学习并行处理技术的意义：并行处理(Parallel Processing)是一门综合性很强的学科，是信息处理的一种有效形式。随着半导体、元器件技术进步，大规模集成电路发展，计算机的速度不断提高，性能也不断增强，由于电子信号的传输速度是有限的，单纯靠提高电子部件的速度来改善计算机的性能已经不能满足客观需要，还要从系统结构等方面来考虑，其中一个重要途径就是采用并行处理技术。通过开发处理过程中的并行事件，使并行性达到较高水平。并行处理技术涉及的内容包括并行结构、并行软件和并行算法多个方面，这些方面相互联系、互为条件、互为保证。 本章主要内容：叙述并行性基本概念的基础上，讨论并行处理技术的研究现状和发展方向，SIMD并行处理机结构及有关技术，并行算法等。并对于多处理机和多计算机系统也做了详细说明。 第8章 并行处理技术和多处理机 8.1 概　述 8.2 并行处理技术及发展 8.3 SIMD并行处理机 8.4 多处理机结构 8.5 多处理机高速缓冲存储器（Cache）一致性 8.6 并行处理软件 8.7 多处理计算机系统举例 8.1 概述 一、什么是并行性 (Parallelism) 并行性并不只限于设备的简单重复，在单处理机系统中采用指令先行提取技术、流水线技术、并发执行多道程序，及近年来发展的多处理机系统执行多个任务均可体现并行性。 并行性定义为：在同一时刻或同一时间间隔内完成两种或两种以上性质相同或不相同的任务。 并行性含义： 同时性(simultaneity)：指两个或多个事件在同一时刻发生在多个资源中； 并发性(concurrency)：指两个或多个事件在同一时间间隔内发生在多个资源中，并行处理是一种有效的强调开发计算过程中并行事件的信息处理方式 二、并行等级 1）存储器操作并行 2）处理器操作步骤并行 3）处理器操作并行 4）指令、任务、作业并行 二、并行等级 1）存储器操作并行 可以采用单体多字、多体单字或多体多字方式。在一个存储周期内访问多个字，进而采用按内容访问方式在一个存储周期内用位串字并或全并行方式实现对存储器中大量字的高速并行比较、检索、更新、变换等操作。 例如：并行存储器系统和以相联存储器为核心构成的相联处理机。 二、并行等级 2）处理器操作步骤并行 处理器操作步骤是指一条指令的取指、分析、执行等操作过程，具体可以是这些过程之间并行，例如流水处理机。 也可以是这些过程的某一个子过程内部并行，例如浮点加法的求阶差，对阶、尾加、舍入、规范化等是过程阶段内部并行。 二、并行等级 3）处理器操作并行 为支持向量、数组运算，可以通过重复设置大量处理单元，让它们在同一控制器控制下按照同一条指令的要求对多个数据组同时操作。例如并行处理机。 4）指令、任务、作业并行 称为较高级并行，虽然也可包含如操作、操作步骤等较低等级的并行，但原则上与操作级并行不同。指令级以上的并行是多个处理机同时对多条指令及有关的多数据组进行处理，属于多指令流多数据流计算机。在非冯·诺依曼结构计算机中，如数据流计算机、归约计算机等也就属于并行处理范畴等，也是对任务、作业级实现并行处理。 三、并行粒度 与 通信时延 并行粒度：是衡量软件进程所含计算量的尺度。测量方法是数一下程序段中的指令数目。颗粒规模决定并行处理的基本程序段，一般用细、中、粗粒度来描述，这与处理的级别相关。 时延：是机器各子系统间通信开销的时间量度。如：存储时延是处理机访问存储器所需时间；同步时延是两台处理机为了达到互相同步所需的时间。 并行粒度与通信时延密切相关，公式表示：G = Tw / Tc 其中，G 表示粒度大小，Tw 表示所有处理器计算时间总和（也可以用指令数目来计算），Tc 表示所有处理器通信时间 可见，当Tc较大时，G就较小，表明处理粒度较细；当粒度较粗时，通信量就较小。 五、程序运行的并行级别 程序执行过程通常可以划分成五个等级或五个层次：作业级、任务级、例行程序或子程序级、循环和迭代级及语句和指令级。 五、程序运行的并行级别 五、程序运行的并行级别 五、程序运行的并行级别 六、通信时延问题 计算机中不同的时延是由机器内部系统结构、实现技术和通信方式决定。系统结构和实现技术将会影响子系统间容许时延的选择。可以用平衡粒度和时延的办法来求得较好的计算机系统性能。 另一重要参数是处理机间通信引起的时延。除数据通路中的信号延迟外，还受到通信方式的影响。 一般情况下n个处理任务互相通信