第十章高性能计算和并行算法§101引言.PDFVIP

第十章 高性能计算和并行算法 §10. 1 引言 在过去的近三十年间，我们经历了计算机科学和技术的迅速 发展。具体表现在市场上计算机的性能价格比得到迅速地提高。 高性能计算机的概念并无明确的定义，一般认为运算速度非 常快的计算机就可以认为是高性能计算机。严格地讲，高性能计 算机是一个所有最先进的硬件，软件，网络和算法的综合概念， “高性能”的标准是随着技术的发展而发展的。 高性能计算系统中最为关键的要素是单处理器的最大计算速 度，存贮器访问速度和内部处理器通讯速度，多处理器系统稳定 性，计算能力与价格比，以及整机性能等。 冯.纽曼“瓶颈”。 为了要超越这个“瓶颈”，人们发展了两种计算机体系结构和 相关软件技术的应用原则。一个是并行算法(parallelism)，另 一个是流水线技术(pipelining)。 实际上，这两个原则都与并行有关。实际上并行的概念有两 种：一种是仅仅时间上的并行，称为流水线计算机，另一种既是 时间，也是空间上并行的并行计算机。 流水线技术是源于工业自动化生产中的流水线操作思想。在 生产流水线上，一批产品的一部分安装完毕以后，进入流水线的 下一段完成另一部分安装任务；整个流水线上同时对产品进行不 同部分的安装工作。在并行处理中，流水线技术是一项重要的并 行技术，目前己经在超级计算机和工作站上得到广泛的应用， 并行计算机上算法的具体实现则要复杂得多，要高效使用它 就更不容易。造成这样局面的原因是修改算法来适应流水线操 作，比去适应并行计算容易一些。但是。毫无疑问,向量处理超 级计算机和并行计算系统的应用会给我们物理学的发展提供更 多的机遇。 由于高性能计算机与当前能够应用的新计算技术相关联，因 而它与并行算法和流水线技术有着密切的联系。 §10. 2 并行计算机和并行算法 并行计算机是由多个处理器组成（在这些处理器之间还可以 相互通讯和协调），并能够高速、高效率地进行复杂问题计算的 计算机系统。并行计算机的得名是相对于串行计算机而言的。串 行计算机是指只有单个处理器，顺序执行计算程序的计算机，也 称为顺序计算机。并行计算作为计算机技术，是在上世纪 70 年 代中期提出来的，至今已有近 30 年的发展历史了。该技术的应 用已经带来单机计算能力的巨大改进。 为什么要采用并行计算呢？我们有三个方面的理由： (1) 并行计算可以大大加快运算速度，即在更短的时间内完 成相同的计算量，或解决原来根本不能计算的非常复杂 的问题。 (2) 提高传统的计算机的计算速度一方面受到物理上光速 极限和量子效应的限制，另一方面计算机器件产品和材 料的生产受到加工工艺的限制，其尺寸不可能做得无限 小。因此我们只能转向并行算法。 (3) 并行计算对设备的投入较低，既可以节省开支又能完成 计算任务。 通常的冯.纽曼计算机是属于 SISD(Single Instruction Single Data stream computers) 单指令单数据流计算机类型计 算机，它的结构只有一个处理器，同时可以处理一个单数据流。 其单数据流是指被处理器从存贮器取出或写到存贮器上的数据 序列。 并行计算机若采用与某种网络相关的多处理器结构，则会使 其性能得到改善。计算机系统的处理器和内存条有各种各样的可 能排列。我们可以根据一个并行计算机能够同时执行的指令与处 理数据的多少，将如今广泛使用的结构分成以下类型： (1)SIMD 计算机具有处理器器件阵列，它通过单个控制单元 来控制功能设备。这个控制单元向所有处理器发出相同的执行指 令，随后所有处理器对进入的不同数据流进行相同的操作。例如 在SIMD 并行计算机上做数组的赋值运算 X=X+1 即用加法指令对数组X 的所有元素同时做加1 的操作。可以看出 在SIMD 并行计算机上特别适合进行向量（数组）的运算，它的 结构可以以很高的处理速度直接支持这种运算。 (2)MIMD 计算机具有可以同时独立运行多条指令，对不同的 数据进行操作。例如对数组的如下运算 A=B*C+D+E+F/G,可以分 解为乘法（B*C），加法（D+E）和除法（F/G）直接交给MIMD 计 算机的直接处理部分同时进行计算。 在非常大的科学计算程序中，大部分的工作常常是反复