并行 Chapter1.ppt

教材 《PARALLEL PROGRAMMING》 Barry Wilkinson Michael Allen 高等教育出版社 教育部高等教育司推荐 国外优秀信息科学与技术系列教学用书 参考书 1、沈志宇 廖湘科 胡子昂 《并行程序设计》 2、刘健 《并行分布式程序设计》 3、陈国良 《并行计算--结构·算法·编程》融并行计算机结构（硬件平台）、并行算法设计、并行计算的软件支撑（并行程序设计）为一体　 4、陈国良 《并行算法的设计与分析》（修订版）常用的数值和非数值计算问题的并行算法设计和分析方法 5、陈国良等《并行计算机体系结构》着重讨论对称多处理机、大规模并行处理机、机群系统和分布共享存储多处理机系统的组成原理、结构特性、设计方法、性能分析以及相应系统实例　　 6、陈国良等《并行算法实践》典型的数值并行算法和非数值并行算法的MPI具体编程实现过程，以及并行编程环境和开发工具的综合运用 　　 教材二部分内容 一、并行编程基本技术，包括： 并行计算机 消息传递计算 易并行计算 划分和分治策略 流水线计算 同步计算 负载平衡与终止检测 共享存储器编程 二、算法和应用 排序算法、数值算法（矩阵、求解线性方程组、图 像处理、搜索和优化（遗传算法、爬山算法） 先修课 操作系统 C语言程序设计 数据结构 计算机体系结构 网络 第一章 并行计算机 1.1 对计算机速度的需求 1.2 并行计算机的类型 1.3 消息传递多计算机的体系结构特征 1.4 用连网计算机作为多计算机平台 1.5 提高计算机速度的潜力 1.1 The Demand For Computational Speed A grand challenge problem is one that cannot be solved in a reasonable amount of time with today’s computers. Examples: Global weather forecasting Modeling the motion of astronomical bodies Modeling large DNA structure 科学和工程领域有数值建模和模拟，需对大 量数据进行多次重复计算，计算必须在合理 时间内完成，故需要很高计算速度。 1.1 The Demand For Computational Speed Whatever the computational speed of current processors, there will be applications that requires more computational power. Human nature:不断想象那些超过计算机系统能力的新应用，从而需要比目前可提供的更高速度。 并行编程有时有助于求解更精确的解 并行计算机比单机有更大的主存储器容量，使得需要较大主存储器容量的求解问题得到解决。 1.1 The Demand for Computational Speed The ideal effect of parallel computer: n台计算机应能提供n倍的单机速度，不论当前 计算机速度为多少，可期待求解的问题以1/n时 间完成。 实际很难达到： 求解问题常不能完全分解成各自独立的部 分，各部分之间有交互（数据传送、同步） 但仍可达到实质性改善。 结论：Future is parallel 1.2 并行计算机的类型 并行编程：多个处理器协同求解一个问题，将整个求解问题分成若干部分，每部分各由一个处理器并行地计算，编写这种形式的程序，称为并行编程。 并行计算机：是并行编程的计算平台，可以是具有多个内部处理器的单计算机或是以某种方式互连的若干台独立的计算机。 A Parallel Computer is a collection of processing elements that communicate and cooperate to solve large problem fast. 1.2 并行计算机的类型 1.2.1 共享存储器多处理机系统 Share Memory Multiprocessor System 1.2.2 消息传递多处理机系统 Message-Passing Multicomputer 1.2.3 分布式共享存储器系统 Distributed Shared Memory 1.2.4 MIMD和SIMD