第1讲并行计算概述.pptVIP

* * * 传统地，串行计算是指在单个计算机（具有单个中央处理单元）上执行软件写操作。CPU 逐个使用一系列指令解决问题，但其中只有一种指令可提供随时并及时的使用。并行计算是在串行计算的基础上演变而来，它努力仿真自然世界中的事务状态：一个序列中众多同时发生的、复杂且相关的事件。 * * Floating Point Operations Per Second，浮点操作/秒 向量运算是一种较简单的并行计算，适用面很广，机器实现比较容易，使用也比较方便，因此向量处理机(向量机)获得了迅速发展。 对一个向量的各分量执行同一运算，或对同样维数的两个向量的对应分量执行同一运算，或一个向量的各分量都与同一标量执行同一运算，均可产生一个新的向量，这些是基本的向量运算 向量机适用于线性规划、傅里叶变换、滤波计算以及矩阵、线性代数、偏微分方程、积分等数学问题的求解，主要解决气象研究与天气预报、航空航天飞行器设计、原子能与核反应研究、地球物理研究、地震分析、大型工程设计，以及社会和经济现象大规模模拟等领域的大型计算问题。 * Rpeak 40960, Linpack 87.5% 5120 processor, 8Gflops/P, 640 processor nodes, each consisting of eight vector processors are connected as a high speed interconnection network. Lawrence Livermore National Laboratory 〈美国〉劳伦斯利弗莫尔国家实验室 1996年 曙光1000获中国科学院科技进步特等奖 1997年 曙光1000获国家科技进步一等奖 * 并行计算基础知识 并行计算基础知识 * 并行计算概述 * 并行计算概述 安俊秀 anjunxiu@cuit.edu.cn 软件工程学院 并行计算实验室6412 云计算云搜索中心（成都） 如何满足不断增长的计算力需求？ 用速度更快的硬件，也就是减少每一条指令所需时间 优化算法（或者优化编译） 用多个处理机(器)同时解决一个问题 并行计算 * 并行计算概述 并行计算概述 * 并行:古老的思想! “...并行计算并不是什么新的思想,只是将它扩展应用于计算机而已”. 作者也不认为这种扩展应用会存在什么无法克服的困难. 但也不要期待有效的并行编程方法与技术能够在一夜之间诞生. 期间还需要有许多的工作和实验要做. 毕竟, 今天的编程技术(串行)是若干年来艰苦的探索才取得的. 现在编程工作似乎成了一种令人单调乏味的工作,事实上,并行编程的出现将会使重新恢复编程工作者们的探索精神 ...” (Gill, S. (1958), “Parallel Programming” The Computer Journal, vol. 1, April, pp. 2-10.) Parallel Programming with MPI by Peter Pacheco(2000) 并行计算--高性能计算 并行计算(Parallel Computing） 高端计算(High-end Parallel Computing) 高性能计算(High Performance Computing) 超级计算(Super Computing) 任何高性能计算和超级计算都离不开使用并行技术 The simultaneous use of more than one computer to solve a problem. 由由运行在多个部件上的小任务合作来求解一个规模很大的计算问题的一种方法 * 什么是高性能并行计算机 由多个计算单元组成，运算速度快、存储容量大、可靠性高的计算机系统。 也称为：巨型计算机、超级计算机 目前任何高性能计算和超级计算都离不开使用并行技术，所以高性能计算机肯定是并行计算机。 * 并行计算的概念 * 串行计算与并行计算 并行计算概述 * 为什么要做并行计算？ －－应用需求 * * 计算科学与传统的两种科学，即理论科学和实验科学，并列被认为是人类认识自然的三大支柱，他们彼此相辅相成地推动科学发展与社会进步。在许多情况下，或者是理论模型复杂甚至理论尚未建立，或者实验费用昂贵甚至无法进行时，计算就成了求解问题的唯一或主要的手段。 为什么要做并行计算？ －－应用需求 * 为什么要做并行计算？ 人类对计算及性能的要求是无止境的 从系统的角度：集成系统资源，以满足不断增长的对性能和功能的要求 从应用的角度：适当分解应用，以实现更大规模或更细致的计算 * 为什么要做并行计算？ 问题: 科学和工