第五章 并行计算与并行程序.pdfVIP

内容提纲 并行计算的概念 并行计算机 并行编程环境 《高级操作系统》 OpenMP 第五章 并行计算和并行程序 教师：苏曙光 华中科技大学软件学院 并行计算的概念 并行计算（Parallel Computing） 并行计算机的弗林（Flynn）分类 指同时使用多种计算资源解决计算问题的过程。 SISD，单指令流单数据流 时间上的并行：流水线技术 空间上的并行：多处理器并发执行计算 Single Instruction stream Single Data stream, 并行计算的主要目的是快速解决大型且复杂的计算问题。 SIMD，单指令流多数据流 还包括：利用非本地资源，节约成本 例如使用多个“廉价”计算资源取代大型计算机 Single Instruction stream Multiple Data stream, 例如克服单个计算机上的存储器限制。 MISD，多指令流单数据流 串行计算 Multiple Instruction stream Single Data stream 指在具有单个中央处理单元的计算机上执行软件。 MISD，多指令流多数据流 并行计算问题的特征 工作分离成离散部分 Multiple Instruction stream Multiple Data stream 随时并及时地执行多个程序指令； 多计算资源下解决问题的耗时要少于单个计算资源下的耗时。 典型并行计算机系统 阵列处理机的两种基本结构 (a)分布存储阵列机 (b)共享存储阵列机 分布存储 CU CU 阵列处理机 共享存储