第7章并行处理技术-公开课件.pptVIP

第 7 章 并行处理技术 本章学习内容 并行处理技术的基本概念 SIMD并行计算机基础知识 计算机互连网络及互连算法 多处理机 7.1 并行处理技术的基本概念(简述) 并行性 在同一时刻或是同一时间间隔内完成两种或两种以上性质相同或不相同的工作。 并行性包括并发性和同时性。 并行性的粒度 Tw：所有处理器的计算时间的总和。 Tc：所有处理器的通信时间的总和 并行性的等级 （3）子任务级：属于中粒度。子程序是在单处理机或多处理机的多道程序设计这一级进行的。这一级并行性由算法设计者或程序员开发而非用编译器开发。 （4）任务级：这是与任务、过程、程序段、协同程序级相对应的中粒度或粗粒度规模。典型粒度包含的指令几千条，检测本级的并行性比细粒度级困难得多，需要更多地涉及过程间的相关性分析。需编译器支持。 （5）作业（程序）级：对于少量几台高性能处理机构成的超级计算机开发这种粗粒度并行性切实可行。 并行性的开发策略 时间重叠 资源重复 资源共享 并行性的开发方式 粗粒度开发方式：主要采用软件手段开发并行性。 细粒度开发方式：主要采用硬件手段开发并行性。 粒度与Flynn的关系 粗粒度-?MIMD方式 （G↗） 细粒度-?SIMD方式 （G↘） 7.2 阵列处理机（SIMD并行计算机） 并行计算机的定义 并行计算机就是由多个处理单元PE(以下也称为处理器，或简称为CPU)组成的计算机系统，这些处理单元相互通信和协作能快速、高效的求解大型复杂问题。 下图给出了从标量到向量和并行计算机的演变 。 阵列机 以SIMD方式工作、采用资源重复技术实现数据处理时的高度并行的阵列处理机。 阵列机主要用于处理向量和阵列型数据。 它在同一个控制部件管理下，有多个处理单元。所有处理单元均收到从控制部件广播来的同一条指令，但操作对象是不同的数据。H.J.Siegel提出了SIMD计算机的操作模型。 7.2.1 阵列机的基本结构 1. 阵列机的结构 阵列机通常由一个控制器（CU）、N个处理器单元（PE）、M个存储器模块（M）以及一个互连网络部件（IN）所组成。 互连网络（IN）有时也称为对准网络或排列网络。 2. 阵列机的工作方式 阵列机工作时，由控制器CU控制将指令广播给系统中的各个PE，所有活跃的PE将以同步方式执行相同的指令（单指令流）。PE从相应的存储模块中取得自己所需的数据对象（多数据流）进行处理。互连网络IN用来使各个PE之间或是PE和M之间实现方便的通信连接。 3. 阵列机的两种基本结构 ⑴ 分布式存储器阵列机 分布式存储器阵列机的特点 ① N个相同的处理单元PE由处理器 Pi 和局部存储器 Mi 组成。各个 Pi 主要将从自己的局部存储器 Mi 中获取数据进行操作。各个PE通过IN实现相互间必要的数据交换，因此IN是单向的。 ② CU具有自己的存储器，用于存放系统程序、用户程序以及各个PE所需的共享数据。CU的主要功能是对指令译码和判别指令应在何处执行。 对于标量或控制类指令，CU利用本身的运算部件直接执行；若是向量指令，它就将指令广播到各个PE去执行。 ③ 各个PE同步执行来自CU的操作命令。但是并不一定每个操作非得所有PE都参加，CU将对PE实行屏蔽控制，只有那些未被屏蔽的活跃PE才可参加操作。 CU控制互连网络IN，使各个PE之间通过IN实现相互之间必要的数据交换。当相互需要交换数据的两个PE不直接相连时，就需要经过它们之间的中间PE来完成连接。 ⑵ 共享存储器的阵列机 共享存储器阵列机的特点 ① 每个PE没有自己的局部存储器 。存储器模块以集中形式为所有PE（通过IN）共享。 ② 互连网络受CU控制，用来构成PE和M之间的数据交换通路。要求互连网络具有同时连接PE到M和M到PE的双向性。 ③ 系统中的一个PE可以与任何另一个PE实现数据交换（只要有任何一个存储模块同时与这两个PE相连接）。当两个需交换数据的PE之间没有共享的存储模块时，可能需要经过多次的传送之后，方可实现交换。 ④ 互连网络比较复杂。 阵列机特征的形式化表示 SIMD计算机的操作模型可用五元组表示： C＝N，C，I，M，R 式中：　　(1) N为机器的处理单元(PE)数。　　例如，Illiac IV有64个PE。而连接机(Connection Machine) CM-2采用65536个PE。　　(2) C为由控制部件(CU)直接执行的指令集，包括标量和程序流控制指令。 　　(3) I为由CU广播至所有PE进行并行执行的指令集，它包括算术运算、逻辑运算、数据寻径、屏蔽以及其它由每个活动的PE对它的数据所执行的局部操作。 　(4) M为屏蔽方案集，其中每种屏蔽将PE集划分为允许操作和禁止操作两种子集。　　(5)