【信息技术篇】并行计算及其发展.pdfVIP

【信息技术篇】并行计算及其发展

1.计算科学与并行计算的提出

随着计算机和计算方法的飞速发展，几乎所有的学科都走向定量

化和精确化，从而产生了一系列诸如计算物理、计算化学、计算生物

学、计算地质学、计算气象学和计算材料科学等的计算科学，在世界

上逐渐形成了一门计算性的学科分支，即计算科学与工程，简称为

CSE(ComputationalScienceEngineering)。当今，计算科学已经

和传统的两种科学即理论科学和实验科学，并列成为第三门科学，它

们彼此相辅相成地推动科学发展与社会进步。在很多情况下，或者是

理论模型复杂甚至理论尚未建立，或者实验费用昂贵甚至实验无法进

行，此时计算就成为求解问题的唯一或主要手段。计算极大地增强了

人们从事科学研究的能力，大大地加速了把科技转化为生产力的过程，

深刻地改变着人类认识世界和改造世界的方法和途径。计算科学的理

论和方法，作为新的研究手段和新的设计与制造技术的理论基础，正

推动着当代科学与技术向纵深发展。

计算科学所涉及的计算方法，即我们平常所说的算法，是求解问

题的方法和步骤，而并行算法则是指用多台计算机联合求解问题的方

法和步骤。现在，并行算法之所以受到极大的重视，是为了提高计算

速度（单机受物理速度限制无法满足）、提高计算精度（加密、计算

网格等）以及满足实时计算需要（数值天气预报等）。而并行计算，

简单地说，就是在并行计算机上所作的计算，它和常说的高性能计算，

超级计算是同义词，因为在任何高性能计算和超级计算总离不开使用

并行技术。

2.并行计算概述

所谓并行计算，是指同时使用多种计算资源解决计算问题的过程。

为执行并行计算，计算资源应包括一台配有多处理机（并行处理）的

计算机、一个与网络相连的计算机专有编号，或者两者结合使用。并

行计算的主要目的是快速解决大型且复杂的计算问题。此外还包括：

利用非本地资源，节约成本―使用多个“廉价”计算资源取代大型计

算机，同时克服单个计算机上存在的存储器限制。

传统地，串行计算是指在单个计算机（具有单个中央处理单元）

上执行软件写操作。CPU逐个使用一系列指令解决问题，但其中只有

一种指令可提供随时并及时的使用。并行计算是在串行计算的基础上

演变而来，它努力仿真自然世界中的事务状态：一个序列中众多同时

发生的、复杂且相关的事件。

为利用并行计算，通常计算问题表现为以下特征：

（1）将工作分离成离散部分，有助于同时解决；

（2）随时并及时地执行多个程序指令；

（3）多计算资源下解决问题的耗时要少于单个计算资源下的耗时。

并行计算是相对于串行计算来说的，所谓并行计算分为时间上的

并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的

并行则是指用多个处理器并发的执行计算。

并行计算科学中主要研究的是空间上的并行问题。空间上的并行

导致了两类并行机的产生，按照Flynn的说法分为：单指令流多数据

流（SIMD）和多指令流多数据流（MIMD）。我们常用的串行机也叫

做单指令流单数据流（SISD）。MIMD类的机器又可分为以下常见的

五类：并行向量处理机(PVP)、对称多处理机(SMP)、大规模并行处

理机(MPP)、工作站机群(COW)、分布式共享存储处理机(DSM)。

3.并行处理计算机系统

并行处理计算机的结构特点主要表现在两个方面：①在单处理机

内广泛采用各种并行措施；②由单处理机发展成各种不同耦合度的多

处理机系统。并行处理的主要目的是提高系统的处理能力。有些类型

的并行处理计算机系统（如多处理机系统）还可以提高系统的可靠性。

由于器件的发展，并行处理计算机系统具有较好的性能价格比，而且

还有进一步提高的趋势。

结构原理并行处理计算机的结构主要有流水线方式、多功能部件

方式、阵列方式、多处理机方式和数据流方式。

流水线处理机将指令的执行过程分解为若干段，每段进行一部分

处理。一条指令顺序流过所有段即执行完毕获得结果。当本条指令在

本段已被处理完毕而进入下段时，下条指令即可流入本段。因此，在

整个流水线上可以同时处理若干条指令。若各段