并行计算机体系结构.docVIP

第一章并行计算机体系结构

在介绍并行算法及其软件设计之前，必须先介绍一下并行计算机与分布式并行的一些根本知识。目前国内这方面的资料不是很完善，为此，本章将阐述一下并行计算机体系结构的一些根本知识。

1.1并行计算机定义

简单地讲，并行计算机就是由多个处理单元(以下也称为处理器，或简称为CPU)组成的计算机系统，这些处理单元相互通信和协作能快速、高效的求解大型复杂问题。

定义中涉及的问题：

并行计算机的规模：,例如处理单元有多少，这就涉及到系统是小规模的(十个或几十个)、中规模的(上百个)和大规模的(成千上万个)的问题；

处理单元的功能：处理单元的功能有多强，这就涉及到系统的组织策略是平行对称的“蚁军法〞(ArmyofAnts)或是一种主从的形式“象群法〞(HertofElephants)的问题；

处理单元之间怎样连接，这就涉及到系统是按照什么样的拓朴结构彼此互连起来的问题；

处理单元的数据是如何传递的，这就涉及到通信是按照共享变量方式的或消息传递方式的问题。

各处理单元彼此相互协作共同求解大型复杂问题，那么涉及到的问题更多，例如如何保证多处理单元操作的顺序性，这就涉及到同步互斥问题；如何确保共享数据的完整性问题，这就涉及到不同存储层次中的数据的一致性问题。

此外，还有求解具体问题的并行程序的编写、调试、运行和性能分析等方面的问题。

1.2并行机的由来

并行计算机是相对串行计算机而言的，所谓串行计算机就是只有单个处理单元顺序执行计算程序的计算机，所以也称为顺序计算机。顺序计算机最早是从位串行操作到字并行操作、从定点运算到浮点运算改良过来的；然后它按照图1.1所示的过程逐步演变出各种并行计算机系统：从顺序标量处理(ScalarProcessing)计算机开始，首先用先行(Look-ahead)技术预取指令，到达重叠操作实现功能并行；支持功能并行可使用多功能部件和流水线两种方法；而流水线技术对处理向量数据元素的重复相同的操作表现出强大的威力，从而产生了向量流水线〔Vector-pipelining〕计算机〔包括存储器到存储器和存放器到存放器两种结构〕；不同于时间上并行的流水线计算机，另一分支的并行机是空间上并行的SIMD〔单指令流多数据流〕并行机，它用同一控制器同步地控制所有处理器阵列执行相同操作来开发空间上的并行性；如果用不同的控制器异步地控制相应的处理单元执行各自的操作，那么就派生出另一类非常主要的MIMD〔多指令流多数据流〕并行机；其中，如果各处理单元通过公用存储器中的共享变量实现相互通信，那么就称为多处理机〔Multiprossors〕；如果处理单元之间使用消息传递的方式来实现相互通信，那么就称为多计算机〔Multicomputers〕，它也是当今最流行的并行计算机，也是本书讨论的重点。

图1.1从标量到向量和并行计算机的演变

1.3当代并行机系统

自20世纪70年代初到现在，并行计算机的开展已有20多年的历史.在此期间，出现了各种不同类型的并行机，包括历史上曾经风行一时的并行向量机PVP(ParallelVectorProcessor)和SIMD计算机，但它们现在均已衰落了下来，而MIMD类型的并行机却占了主导地位。当代的主流并行机是可扩放的并行计算机(Scalable-ParallelComputer)，包括共享存储的对称多处理机SMP(SymmetricMultiprocessor)，分布存储的大规模并行机MPP(MassivelyParallelProcessor)，分布式共享存储DSM(DistributedSharedMemory)多处理机和工作站机群COW(ClusterofWorkstations)以及刚刚兴起的跨地域性的、用高速网络将异构性计算节点连接起来满足用户分布式计算要求的所谓网格计算环境GCE(GridComputationalEnvironment)。本课程将重点讨论前4种当代可扩放的主流并行计算机。

1.4高性能计算机

顺便讲一下并行计算机与高性能计算机的关系。其实，高性能计算机并无明确严格的定义。因为性能可定义为求解问题所花费的时间的倒数，即求解问题的速度，所以按此意义，只要那些速度非常快的计算机都可认为是高性能计算机。当然，能高速求解问题的计算机，可以包括大型计算机(Mainframe)，如早期的IBM370系列；超级计算机(Supercomputer)，如Cray-1向量计算机以及各种并行计算机。因为为了到达高性能，仅靠改良电路工艺，提高单机器件速度是有限的，所以使用并行计算机的方法那么更为普通和有效，于是并行计算机也就渐渐地变成了高性能计算机的同义词了，这种说法虽不严格，但已被普遍认可。

1.5并行计算机开展背景

90年代，并行计算机已成