第五章 并行处理技术.pptx

二、并行处理技术的发展;一.并行性概念

在数值计算，数据处理，信息处理或人工智能求解过程中，可能存在某些能同时进行运算或操作的部分。

在同一时刻或同一时间间隔内完成多个性质相同或不同的任务。;1．从计算机系统处理数据的并行性来看，并行性等级从低到

高可分：

位串字串-----通常指传统的串行单处理机。

位并字串-----通常指传统的并行单处理机。

字并位串-----同时对多个字的同一位（称位片）进行处理

，开始进入并行处理领域。

全并行--------同时对多个字的全部或部分位组进行处理。;并行性的开发还可以按程序大小划分不同粒度的开发方式。

并行粒度（granularity）或颗粒规模（grainsize）----衡量软件进程所含计算量的尺度。测量方法是数一下颗粒（程序段）中的指令数目。一般用细、中、粗来描述，决定并行处理的基本程序段。;时延（TC）——机器各子系统间通信开销的时间量度。如：存贮时延是处理机访问存贮器所需时间；同步时延是两台处理机互相同步所需的时间。;作业级（程序）;（1）指令级：并行性发生在指令内部微操作之间或指令之间。取决于程序的具体情况。可借助于优化编译器开发细粒度并行性，它能自动检测并行性并将源代码换成运行时系统能识别的并行形式。;小结：

?细粒度并行性常在指令级或循环级上借助于并行化或向量化编译器来进行开发的。

任务或作业步骤（过程级）中粒度并行性开发需要程序员和编译器的共同作用。

开发程序作业级的粗粒度并行性主要取决于高效的操作系统和所用算法的效率。

共享变量通信常用于支持中、细粒度计算。消息传递型多计算机用于中粒度和粗粒度的计算。通常情况下，粒度越细，并行性潜力越大，通信和调度的开销也越大。细粒度能提供较高的并行度，但与粗粒度计算相比，其通信开销也较大。大规模并行性通常是在细粒度级上开发。如：SIMD或MIMD计算机上开发的数据并行性。;提高计算机系统的并行性的技术途径：

时间重叠（TimeInterleaving）：在并行性概念中引入时间因素。让多个处理过程在时间上相互错开，轮流重叠地使??同一套硬件设备的各个部分，以加快硬件周转而赢得速度。;多道程序

分时系统

虚拟存储器;并行处理中需研究的课题：

（1）在处理机数目很多的情况下，要把任何一个问题分成足够多的并行过程（即任务分配）非常困难，并且也不是所有问题都能做到这一点。

（2）现有的并行算法绝大多数是由串行算法发展而来的，因此很难摆脱传统串行的思维和处理方式方法的约束。

（3）现有算法语言对并行性限制很大。现行的SIMD和MIMD系统结构仍然没有摆脱传统的以指令流为主导的VonNeumann模式。因指令相关和地址空间相关等矛盾的出现，使并行效率受到严重的限制。

（4）在并行处理过程中，各处理机间的通信开销有可能使并行处理技术得不偿失。

（5）并行处理技术的主要困难是软件，软件的关键在于如何高效地进行存储管理和机间通信，尤其是并行编译程序发展，对发挥硬件特性改善系统性能影响更大。;一、阵列处理机的基本构成

基本思路：阵列处理机是通过重复设置大量相同的处理单元PE，将它们按一定的方式互连，在统一的控制部件CU（ControlUnit）控制下，对各自分配来的不同数据并行地完成同一条指令所规定的操作。它依靠操作一级的并行处理来提高系统的速度。;二、阵列处理机分类;PEM0;ILLIAC-IV结构（分布存贮器并行处理机结构）;ILLIAC-IV的处理单元原理图;PU间互连状态：PUi代表64位处理单元PEi、所带局部存贮器PEMi及存贮器逻辑部件总称。每台PUi只能与它的4个近邻连接。PUi的4个近邻是PUi-1，PUi+1，PUi-8，PUi+8（mod64）。这种连接称为闭合螺线阵列。这种互连网络中,当数据从一个PUi传送另一个PUi要走好几步，中间经过其它PUi转送。传送步数I≤√N-1。（N为PEi总数）当N=64时，最多步数为7。在每次数据传送操作时由软件算出最短路径。;PU16;控制器的功能有以下五个方面：

①?对指令流进行控制和译码，包括执行一整套标量操作指令；

②?向各处理单元发出执行数组操作指令所需的控制信号；

③??产生和向所有处理单元广播的公共的地址部分；

④?产生和向所有处理单元广播的公共数据；

⑤?接收和处理由各PE（计算出错时）、系统I/O操作以及B6700所生产的陷阱中断信号。;I/O系统

由磁盘文件系统DFS、I/O分系统和B6700组成，完成输入输出及其他管理功能。;（2）集中式共享存贮的阵列处理机