数据科学并行计算全书课件完整版ppt整本书电子教案最全教学教程最新ppt课件.pptx

第一章 并行计算基础知识授课教师：课程目录1.1 什么是并行计算1.2 并行计算的起源1.3 有关并行计算的基本概念1.4 并行计算的性能评价方法1.5 并行计算的数据分解方法及计算模型1.1 什么是并行计算理解并行计算为了能够更好地理解并行计算的概念，介绍概念之前先引入一个例子。假设某个面点师准备制作一批面包，加工步骤如下：制作面团，等待面团发酵，对烤箱进行清洗和预热，烤制面包，准备盛放面包的器皿，对面包进行装饰点缀，包装。面点师设计如下三种方案:方案一：先制作面团，在等待发酵时清洗和预热烤箱，面团发酵完成后进行烤制，在烤制时准备盛放面包的器皿，面包烤制完成后进行装饰点缀和包装。方案二：先做好全部准备，清洗和预热烤箱，准备盛放面包的器皿；一切就绪后，制作面团，发酵，等待发酵完成，烤制，装饰点缀，最后包装。方案三：首先制作面团，发酵；发酵完成后，急急忙忙清洗和预热烤箱；进行烤制，烤制完成后准备盛放面包的器皿；最后对面包进行装饰点缀和包装。理解并行计算方案一最省时间，而另外两个方案都浪费了一定的时间。不妨把烤面包问题的过程假设为计算机解决一个问题的过程。这里的“等待发酵”与“烤制面包”由计算机的处理器 A 完成；“清洗和预热烤箱”与“准备器皿”由另一个处理器 B 同时完成。这种同时利用处理器 A 和处理器 B 解决一个问题，就是运用了并行计算的原理（如图所示）。串行计算串行计算是传统的软件的计算模式。串行计算(serial computing)是指在一个处理器上解决计算问题，具有下列性质：一个问题被分解成为一系列离散指令；这些指令被依次执行；所有指令均在一个处理器上被执行；在任何时刻最多只有一个指令被执行。并行计算根据美国能源部的定义，并行计算是指“多个处理单元同时处理单个应用”。在计算机领域，并行计算是指同时利用多种计算机资源来解决计算问题，也就是同时利用多种任务、多条指令，或对多个数据项目进行处理。在并行计算中：一个问题被分解成为一系列可以并发进行的离散部分；每一个部分可以进一步被分解成为一系列离散指令；来自每个部分的指令可以在不同处理器上被同时执行；需要一个总体的控制/协作机制来负责对不同部分的执行情况进行调度。并行计算vs分布式计算并行计算可以被看作分布式计算的一个特定的紧密耦合的形式，分布式计算可以被视为并行计算的松散耦合形式。在并行计算中，所有处理器可以访问共享存储器以在处理器之间交换信息。在分布式计算中，每个处理器都有自己的专用内存（分布式内存）。通过在处理器之间传递消息来交换信息。1.2 并行计算的起源为什么要进行并行计算如何解决大规模数据对计算能力的需求问题为什么要进行并行计算单核处理器性能的提升达到了极限在 20 世纪，计算能力的提高很大程度上依赖于计算机微处理机技术的高速发展。1965 年，高登·摩尔基于观察得出了著名的摩尔律：集成电路上可容纳的晶体管数目每隔18个月便会增加一倍，处理器的速度也同时翻一番。摩尔定律为什么要进行并行计算然而摩尔定律的极限性在过去几年引发了广泛讨论。处理器性能的提升很大程度上依赖于单核处理器日益增加的集成电路晶体管的密度，随着晶体管尺寸的减小，晶体管的传输速度变快，集成电路整体的速度也变快。但是随着晶体管速度的加快，其耗能也相应增加。大多数能量以热能的形式消耗，这导致硅片的差错性增加，也就是电路不再可靠。21世纪初期，用空气冷却的集成电路的散热能力已经达到了极限。这意味着达到物理极限的散热能力不再负担得起单核处理器性能的高速提升。与此同时，随着硅片上线路密度的增加，复杂性也呈指数级增加，一旦芯片上的线条宽度达到纳米数量级，相当于只有几个分子的大小，这种情况下材料的物理、化学性能都将发生质的变化，导致现行工艺的半导体器件不能正常工作。由于上述种种限制，在2002年，单核处理器性能提升速度从曾经的50%下降为20%。这意味着通过单纯提升单核处理器性能来提高总体处理器性能的方法变得不再可行。为什么要进行并行计算2. 各种前沿技术对计算机处理技术的需求升级过去几十年中，各种前沿高端科技的发展一定程度上归功于不断提升的计算能力。例如：人类基因解码、更精准的医疗成像、更精确的气候模拟、更快速的数据分析，都离不开计算机处理能力的提高。随着这些科技的进一步发展，往往需要计算机处理技术进一步提升。昔日计算机串行计算的处理能力已满足不了这些前沿科技的需求，因此并行计算成为这些技术发展的重要选择。为什么要进行并行计算为更好地理解为什么并行计算在这些领域的发展过程中十分重要，列举几个例子。气候模拟。气候模拟是指在实验室一定的控制条件下模拟自然界的气候状况，具体通过建立起相应的数学模型，在一定初始条件和边界条件下进行数值计算，求得气候及其变化的过程。其中，模型的建立需要考虑众多的因素，包括大气、海洋、陆