并行算法第一章并行计算性能测评.ppt

* 大规模并行处理机MPP Massively Parallel Processor其结构如图： 分布式：每个处理器都有局部存储空间 是异步的MIMD机器，程序有多个进程构成，每个都有其私有空间，由进程传递消息 NIC 定制网络 LM P/C MB … NIC LM P/C MB * 分布共享存储多处理机DSM 高速缓存目录DIR用于支持分布高速缓存的一致性 与SMP的主要差异：DSM在物理上有分布在各节点的LM从而形成一个共享的存储器，对用户而言，形成了一个单地址的编址空间 NIC 定制网络 LM P/C MB … DIR NIC LM P/C MB DIR 工作站机群COW 每个节点可以是一台PC或SMP 各节点通过低成本的商品网络互连 NIC 商品网络（以太网、ATM等） M P/C MB … Bridge IOB LD NIC M P/C MB Bridge IOB LD * 公用结构 SMP、MPP、DSM等并行机结构渐趋一致，DSM是SMP与MPP的自然结合，MPP与COW的界限逐渐不清，它们最终趋于一致，形成当代并行机的公用结构。其三种不同的结构如下图所示： 节点N NIC 互连网络 … shell NIC P C M D 节点1 （a）无共享结构 * shell结构 系统中大量的节点通过高速网络连接，节点通常遵循shell结构（Shell Architecture），是其中一个专门设计定制的电路。 shell结构将商品微处理器及其余的节点，包括cache、局存、NIC及磁盘连接起来。 一个节点内可有多个处理器。 shell结构的优点：当处理器芯片更新换代时，只要改变shell结构。 * 公用结构 将无共享结构图(a)中节点内的磁盘D移出来构成共享磁盘的结构盘(b): NIC 互连网络 … shell NIC P C M 节点1 节点N 共享磁盘 （b）共享磁盘 * 公用结构 把图(b)中主存(M)移出来就变成了共享存储结构图(c): 互连网络 shell P C 共享存储器 （c）共享存储结构 shell P C 共享磁盘 * 小结 结构类型：皆为MIMD 处理器类型：PVP为专用定制，其余为商用 互连网络： PVP：定制交叉开关 SMP：总线交叉开关 MPP：定制网络 DSM：定制网络 COW：商用网络（以太网或ATM） 通信机制： PVP、SMP、DSM：共享变量 MPP、COW：消息传递 * 1.3.2 并行计算机访存模型 均匀存储访问模型UMA 非均匀存储访问模型NUMA 全高速缓存存储访问模型COMA 高速缓存一致性非均匀存储访问模型CC-NUMA 非远程存储访问模型NORMA * 均匀存储访问模型UMA UMA：Uniform Memory Access 特点： 物理存储器被所有处理器均匀共享 所有处理器访问存储器的时间相同 每台处理器可带有高速缓存cache 外设也可以一定形式共享 P1 P2 Pn I/O SM1 SMn 系统互连 … … * 非均匀存储访问模型NUMA NUMA：Nonuniform Memory Access 特点： 被共享的存储器在物理上是分布在所有的处理机中的,所有的本地存储器的集合就组成了全局地址空间 处理器访问时间不一样 每个处理器可以带cache，外设也可以某种形式共享 P2 互连网络 … P1 Pn LM1 LM2 LMn … * 全高速缓存存储访问模型COMA COMA：Cache-only Memory Access NUMA的一种特例 C 互连网络 D P C D P C D P … 高速缓存目录 * 全高速缓存存储访问模型COMA 特点： 各处理器中无存储层次结构，全部高速缓存构成了全局地址空间 利用分布的高速缓存目录D进行远程高速缓存的访问 COMA中的高速缓存容量一般都大于二级高速缓存的容量 使用COMA时，数据开始时可任意分配，因为在运行时它最终被迁移到要用到它的地方 高速缓存一致性非均匀存储访问模型 CC-NUMA：Coherent-Cache Nonuniform Memory Access 将一些SMP机器作为一个单节点而彼此连接起来所形成的较大系统 系统互连网络 NIC,DIR 总线或交叉开关 I/O P/C … P/C M 节点1 NIC,DIR 总线或交叉开关 I/O P/C … P/C M 节点N … * 高速缓存一致性非均匀存储访问模型 特点： 绝大多数商用CC-NUMA多处理机系统都使用基于目录的高速缓存的一致性协议 它保留SMP结构易于编程的优点的同时，也改善了SMP可扩放性问题 最显著的优点：程序员无需明确地在节点上分配数据，系统的软、硬件会自动地将数据移至它被使