并行计算-多媒体课件-并行算法设计与分析-ch01 Foundation of Parallel Algorithms1.pptVIP

Y.Xu Copyright USTC 主要内容 1.1 并行计算机体系结构 并行计算机的分类 并行计算机的互连方式 1.2 并行计算模型 PRAM模型 异步APRAM模型 BSP模型 LogP模型 1.3 并行算法的一般概念 并行算法的定义和分类 并行算法的表示 并行算法的复杂度 并行算法的WT表示 加速比性能定律 并行算法的同步和通讯 1.1 并行计算机的体系结构: 并行计算机分类 Flynn分类（1966年） (1)单指令流单数据流机SISD，即传统的单处理机 (2)单指令流多数据流机SIMD (3)多指令流单数据流机MISD，实际中不存在的机器 (4)多指令流多数据流机MIMD 并行机的结构模型－实际的机器体系结构 －SIMD (Single Instruction Multiple Data, 单指令流多数据流机) －PVP (Parallel Vector Processor, 并行向量机) －SMP (Symmetric Multiprocessor, 对称多处理机) －MPP (Massively Parallel Processor, 大规模并行处理机) －COW (Cluster of Workstation, 工作站机群) －DSM (Distributed Shared Memory, 分布共享存储多处理机) 注：SIMD是专用并行机，后5种属于MIMD并行机。 1.1 并行计算机的体系结构: 互连方式 静态互连网络(固定连接) connected graph vertices = processing nodes edges = communication links (1)一维线性连接LA(1-D Linear Array)—一维阵列 不带环绕的1-D LA，带环绕的1-D LA (2)网孔连接MC (Mesh Connected)—二维阵列 不带环绕的MC，带环绕的MC 1.1 并行计算机的体系结构: 互连方式 静态互连网络 (3)树形连接TC(Tree Connected) 二叉树， 胖树 1.1 并行计算机的体系结构: 互连方式 静态互连网络 (4)树网连接MT(Mesh of tree) 1.1 并行计算机的体系结构: 互连方式 静态互连网络 (5)金字塔连接(Pyramid) (6)超立方连接HC (Hypercube Connected) 3－立方， 4－立方 (7)立方环连接CCC (Cube Connected-Cycles) (8)洗牌交换连接SE(Shuffle Exchange) (9)蝶形连接(Butterfly Connected) 1.1 并行计算机的体系结构: 互连方式 动态互连网络(非固定连接) (1)总线Bus (2)交叉开关Crossbar Switcher：一种高带宽网络 (3)多级互连网络Multistage Interconnection Network 一种大型开关网络 主要内容 1.1 并行计算机体系结构 并行计算机的分类 并行计算机的互连方式 1.2 并行计算模型 PRAM模型 SIMD-IN模型 异步APRAM模型 BSP模型 LogP模型 1.3 并行算法的一般概念 并行算法的定义和分类 并行算法的表示 并行算法的复杂度 并行算法的WT表示 加速比性能定律 并行算法的同步和通讯 1.2 并行计算模型: PRAM模型 描述 由Fortune和Wyllie1978年提出，又称SIMD-SM模型。有一个集中的共享存储器和一个指令控制器，通过SM的R/W交换数据，隐式同步计算。 假设 SM的容量无限 有限/无限个功能相同的处理器 本地指令和SM的R/W操作都取单位时间 结构图 1.2 并行计算模型: PRAM模型 分类 PRAM-CRCW并发读并发写 CPRAM-CRCW(Common PRAM-CRCW)：仅允许写入相同数据 PPRAM-CRCW(Priority PRAM-CRCW)：仅允许优先级最高的处理器写入 APRAM-CRCW(Arbitrary PRAM-CRCW)：允许任意处理器自由写入 PRAM-CREW并发读互斥写 PRAM-EREW互斥读互斥写 计算能力比较 PRAM-CRCW是最强的计算模型，PRAM-EREW可logp倍模拟PRAM-CREW和PRAM-CRCW