并行计算基础的.pptVIP

北京大学 二零零八年春季 *致谢：感谢Intel对本课程项目的资助 本讲主要内容 并行计算机体系结构 并行计算模型 进程 线程 并行编程环境 编程语言与编译器 并行计算性能评测 常用并行数值算法 并行编译器 并行计算机体系结构 组成并行计算机的各个部分为： 节点（node）： 每个节点由多个处理器构成，可以直接输入输出 互联网络（interconnect network）： 所有节点通过互联网络相互连接通信。 内存 （memory）： 内存由多个存储模块组成，这些模块或者与节点对称地分布在互联网络的两侧，或者位于各个节点的内部 多级存储体系结构 微处理器的峰值运算速度每18个月翻一番 内存模块的容量每年几乎翻一番 内存模块的访问速度却没有得到平衡发展 内存的访问速度要比处理器执行速度慢很多 内存墙性能瓶颈 =〉多级存储结构 多级存储体系结构 并行计算机访存模型 UMA（Uniform Memory Access）模型 内存模块与节点分离，分别位于互联网络两侧 物理存储器被所有节点共享 所有节点访问任意存储单元的时间相同 发生访存竞争时，仲裁策略平等对待每个节点 各节点的CPU可带有局部私有高速缓存 外围I/O设备也可以共享，且每个节点有平等的访问权利 并行计算机访存模型 NUMA（Non-Uniform Memory Access）模型 内存模块分布在各个节点内部 物理存储器被所有节点共享，任意节点可以直接访问任意内存模块 节点访问内存模块的速度不同 发生访存竞争时，仲裁策略对节点可能是不等价的 各节点的CPU可带有局部私有高速缓存 外围I/O设备也可以共享，但对各节点是不等价的 并行计算机访存模型 COMA（Cache-Only Memory Access）模型 各处理器节点中没有存储层次结构 利用分布的高速缓存目录进行远程高速缓存的访问 COMA中的高速缓存容量一般都大于2级高速缓存容量 数据开始时可以任意分配 ，在运行时它最终会被迁移到要用到它的地方 并行计算机访存模型 NORMA（No-Remote Memory Access）模型 所有存储器都是私有的 绝大多数NORMA都不支持远程存储器访问 并行计算模型 SIMD同步并行计算模型 SIMD共享存储模型 ；并行随机存取机器 假定存在着一个容量无限大的共享存储器 有有限或无限个功能相同的处理器 均具有简单的算术运算和逻辑判断功能 在任何时刻各处理器均可通过共享存储单元相互交换数据 SIMD同步并行计算模型 SIMD分布存储模型 ，常见模型有： 采用一维线性连接的SIMD模型 采用网孔连接的SIMD模型 采用树形连接的SIMD模型 采用树网连接的SIMD模型 采用立方连接的SIMD模型 采用立方环连接的SIMD模型 采用洗牌交换连接的SIMD模型 采用多级互联网络连接的SIMD模型 MIMD异步并行计算模型 异步PRAM模型 每个处理器都有其本地存储器、局部时钟和局部程序 处理器间的通信经过共享全局存储器 无全局时钟，各处理器异步地独立执行各自的指令 处理器任何时间依赖关系需明确地在各处理器的程序中加入同步（路）障 一条指令可在非确定但有限的时间内完成 MIMD异步并行计算模型 BSP模型 计算由一系列用全局同步分开的周期为L的超级步（superstep）组成 在各超级步中: 每个处理器均执行局部计算 通过路由器接受和发送消息 然后做一全局检查，以确定该超级步是否已由所有的处理器完成 若是，则前进到下一超级步 否则下一L周期被分配给未曾完成的超级步 MIMD异步并行计算模型 LogP模型 一种分布存储的、点到点通信的多处理机模型 其中通信网络由一组参数来描述: L （Latency）表示消息从源到目的在网络上的延迟 o （overhead）表示处理器发送或接受一条消息消耗在网络协议栈中的开销 g （Gap）表示处理器可连续进行消息发送或接受的最小时间间隔 P （Processor）表示处理器/存储器模块数 MIMD异步并行计算模型 C3（Computation, Communication, Congestion）模型 一个与体系结构无关的粗粒度的并行计算模型 强调用公用的通信操作来开发粗粒度的并行算法 考虑到了网络链路拥挤和处理器拥挤对并行算法性能的影响 进程 进程的定义 进程（process）可表示成四元组（P, C, D, S） P是程序代码 C是进程的控制状态 D是进程的数据 S是进程的执行状态 进程的状态 非存在状态：进程依赖的程序还没有投入运行 就绪状态：进程由其父进程调入并准备运行 运行状态：进程占有CPU和其它必