第一章并行编程硬件基础2.pptVIP

并行程序设计-2 * * 内容提要 一 并行编程硬件基础 （3学时） 二 并行编程软件基础 （3学时） 三 多线程编程基础 （2学时） 四 Linux多线程编程 （2学时） 五 Windows多线程编程 （3学时） 六 OpenMP编程 （7学时） 七 MPI编程 （4学时） 八 其他编程语言和方法 （2学时） 九 并行程序设计的应用实例 （2学时） 1 并行程序设计引言 2 并行计算机系统互联 3 并行计算机系统模型 （本节课内容） 4 多核技术 一、 并行编程硬件基础 * * * * 2并行计算机系统互连网络 互连网络是将集中式系统或分布式系统中的节点连 接起来所构成的网络。 在拓扑上，互连网络为输入和输出两组节点之间提供一组互连或映象。 * * 2.1 系统互连网络（续1） 不同带宽与距离的互连技术: 总线、SAN、LAN、MAN、WAN * * 2.1系统互连网络（续2） 通信网络是多处理机性能发挥的瓶颈 主要方式：总线、交叉开关、多端口存贮器、开关枢纽 网络参数 节点度（Node Degree）：射入或射出一个节点的边数。在单向网络中，入射和出射边之和称为节点度。 网络直径（Network Diameter）： 网络中任何两个节点之间的最长距离，即最大路径数。 对剖宽度（Bisection Width） ：对分网络各半所必须移去的最少边数 对剖带宽（ Bisection Bandwidth）:每秒钟内，在最小的对剖平面上通过所有连线的最大信息位（或字节）数 如果从任一节点观看网络都一样，则称为对称的（Symmetry） * * 2.1系统互连网络（续3） 静态互连网络 处理单元间有着固定连接的一类网络，在程序执行期间，这种点到点的链接保持不变；典型的静态网络有一维线性阵列、二维网孔、树连接、超立方网络、立方环、洗牌交换网、蝶形网络等 动态网络 用交换开关构成的，可按应用程序的要求动态地改变连接组态；典型的动态网络包括总线、交叉开关和多级互连网络等。 * * 2.1系统互连网络（续4） 例子：静态互联网络中的二叉树 除了根、叶节点，每个内节点只与其父节点和两个子节点相连。 节点度为3，对剖宽度为1. 如果尽量增大节点度，则直径缩小为2，此时就变成了星形网络. 传统二叉树的主要问题是根易成为通信瓶颈。胖树节点间的通路自叶向根逐渐变宽。 * * 网络名称 网络规模 节点度 网络直径 对剖宽度 对称 链路数 线性阵列 2 1 非 环形 2 （双向） 2 是 2-D网孔 4 非 Illiac网孔 4 非 2-D环绕 4 是 二叉树 3 1 非 星形 2 非 超立方 n n 是 立方环 3 是 2.1系统互连网络（续5） 静态互连网络特性比较 * * 2.1系统互连网络（续6） n,节点规模 w，数据宽度 动态互连网络的复杂度和带宽性能一览表 网络特性 总线系统 多级互连网络 交叉开关 硬件复杂度 每个处理器带宽 ～ 3 并行计算机系统模型 并行计算机系统结构分类 并行计算机结构模型 并行计算机访存模型 * * * * 3.1 并行计算机系统结构分类 Flynn分类： SISD, SIMD, MIMD, MISD 结构模型（MIMD） PVP, SMP, MPP, DSM, COW 访存模型: UMA, NUMA, COMA, CC-NUMA, NORMA * * 3.1 并行计算机系统结构分类（续1） 1966年M.J.Flynn根据指令流(Instruction Stream机器执行指令序列）、数据流(Data Stream指令流调用的数据序列）、多倍性(Multiplicity：在系统结构的流程瓶颈上同时执行的指令or数据可能最大个数）将系统结构分成： SISD (single instruction stream over a single data stream) SIMD (single instruction stream over multiple data stream) MIMD (multiple instruction streams over multiple data streams) MISD (multiple instruction streams and a single data streams) * * 3.1 并行计算机系统结构分类（续2） 以处理单元的作用为主的分类方法： PVP