第5章并行处理技术(简).ppt

辽宁师范大学 计算机科学系 第五章 并行处理技术 5.1 计算机系统结构中并行性的发展 5.1.1 并行性的基本概念 1. 并行性的定义 所谓并行性(parallelism)是指在数值计算、数据处理、信息处理或是人工智能求解过程中可能存在某些可同时进行运算或操作的部分。开发并行性的目的是为了能进行并行处理，以提高计算机系统求解问题的效率。 并行性有二重含义:即同时性(simultaneity)和并发性(concurrency)。 同时性是指同一时刻发生的两个或多个事件，如超标量流水处理机中多条指令的并行解释。而并发性则是指同一时间间隔内发生的两个或多个事件，如流水处理过程。 并行处理着重开发计算过程中存在的并发事件。 2 . 并行处理的概念 所谓并行处理是指一种相对于串行处理的信息处理方式，它着重开发计算过程中存在的并发事件。在进行并行处理时，其每次处理的规模大小可能是不同的，这可用并行性颗粒度(granularity)来表示。 颗粒度是指计算时间与通信时间的比值。 另一种描述： 颗粒度的大小一般分为细粒度、中粒度和粗粒度三种，若程序段中指令条数小于500条，则称为细粒度，500条到2000条指令之间则称为中粒度，大于2000条则称为粗粒度。 3. 并行性的等级 并行性有不同的等级，而且从不同角度来观察时，会有不同的划分方法。在程序执行过程中，根据并行进程中颗粒度的大小不同，通常可划分成以下五个等级：作业级、任务级、例行程序或子程序级、循环和迭代级以及语句和指令级，如图5.1所示。 粗粒度并行性的开发主要采用MIMD方式，它开发的主要是功能并行性。 而细粒度并行性的开发则主要采用SIMD方式，它开发的主要是数据并行性。 5.1.2 实现并行性技术的途径 1. 时间重叠（time-interleaving） 时间重叠是指在并行性概念中引入时间因素，让多个处理过程在时间上相互错开，轮流重叠地使用同一套硬件设备的各个部分，以加快硬件周转而赢得速度。 2. 资源重复（resource-replication） 资源重复是指在并行性概念中引入空间因素，通过重复设置硬件资源来提高可靠性或性能。多处理机本身就是资源重复的结果。 例如阵列处理机，它通过设置多个处理单元，在同一控制器的控制下，各执行部件同时对分配给自己的数据完成同一种运算，利用资源重复的方式来提高整个系统的性能。 3. 资源共享（resource-sharing） 资源共享是指利用软件的方法让多个任务按一定时间顺序轮流地使用同一套资源，以提高其利用率，这样相应地也可以提高整个系统的性能。 例如利用共享CPU、主存资源、大容量的磁盘存储器等，以降低系统价格，提高设备利用率，如多道程序、分时系统、计算机网络等。 衡量互连网络性能的因素主要有结点的度、网络直径、网络带宽、可靠性和成本。 在设计互连网络时应考虑以下的四个特征： 1. 通信工作方式 通信工作方式可分为同步和异步两种。 在同步方式中，各个PE对数据进行并行操作都由统一的时钟来加以同步。SIMD并行机都采用同步方式。 异步方式则不用统一时钟加以同步，各个处理单元根据需要相互建立动态连接。 2. 控制策略 控制策略分为集中和分散两种。集中式控制由一个统一控制器对各个互连开关状态加以控制，而分散式控制则由各个互连开关自身实行管理。 一般的SIMD并行机都采用集中控制。 3. 交换方式 交换方式分为线路交换和分组交换两种。 线路交换是在整个交换过程中，在源和目标结点之间建立固定的物理通路，适用于成批数据传送。 分组交换则把要传送的一个信息分成多个分组，分别送入互连网络。这些分组可通过不同的路由到达目标结点。 4. 网络拓扑 网络拓扑分为静态和动态两种。网络拓扑是指互连网络中各个结点间的连接关系，通常用图来描述。 5.5.1 线性阵列 线性阵列(linear array)是一种一维网络，其中N个结点用N-1条链路连成一行，16个结点的线性阵列(linear array)如图5.16(a)所示。 其内部结点度为2，端结点度为1。网络直径为N-1，N较大时，网络直径就比较大，等分带宽为1。 线性阵列是连接最简单的拓扑结构，这种结构不具有对称性，当N很大时，通信效率很低。 5.5.2 环和带弦环 用一条附加链路将线性阵列的两个端结点连接在一起，就构成了环形网络，或简称环(ring)，16个结点的环形结构如图5.16(b)所示。 环可以分为单向环和双向环两种。