大数据环境下并行计算模型的研究进展.pptxVIP

作为高性能计算和超级计算的核心技术，并行计算是充分利用资源加速计算的主要途径．

并行程序设计始终没有成为主流程序设计的核心，设计和开发并行程序的必要性和紧迫性被无意的掩盖：编程门槛极高、并行控制逻辑编写难度大、遵循摩尔定律的影响

大数据时代的来临，人们对应用需求、硬件环境、互联模式到计算技术都在发生显著的变化，分布式并行计算的需求也在日益突出

多样化的并行计算模型是消除分布式并行应用开发瓶颈、推动大数据发展的核心技术之一．;并行计算的回顾

并行计算模型

结论与展望;并行计算是突破串行计算效率瓶颈、提高计算性能的有力和必须的手段．

并行计算：

由流水线技术为代表的时间并行

以多处理器并发执行为代表的空间并行;1954年，首台内建浮点硬件的商用机器IBM704，并行加速理念被随之带入。

1964年第一台在技术和市场上同时获得成功的高性能大规模并行计算机CDC6600研制成功.

1965年，分时操作系统Multics（宣告失败），但诞生了Unix系统和C语言．

1966年，Flynn分类法等对并行计算系统进行分类

大量数值并行算法和并行程序设计技术的出现也在有力推动着并行计算的发展和应用;在生物制药、气候预测、高精武器设计等科学计算领域获得了巨大的成功．

在非科学计算领域滞后

主要原因

摩尔定律（随着半导体技术的发展，单个处理器的性能以平均年50%的速度在不断提升，无发展动力）

分布式并行编程的门槛相对较高（不确定性和异步性）

并行计算的模式高度依赖于并行硬件环境和体系结构，但是并行硬件环境本身的构建也存在着成本高、可扩展性差、管理困难、能耗大等诸多问题。

;摩尔定律的影响力正在减弱，并行技术成为最大限度利用多/众核处理器能力的必须途径

云计算为分布式并行计算提供了新的平台（开放性，商业性）

大数据带来了迫切的应用需求（数据密集型科学研究，数据密集型计算）

;集群规模的可伸缩性和分布式并行应用的可编程性成为了主要的发展矛盾，而架构在硬件和应用之间的计算模型则成为缓解两者之间矛盾的最关键的技术之一。

计算模型是一种涵盖存储模型、执行模型、调度模型、恢复模型的综合抽象。

特点：可以有效屏蔽大量繁杂的并行控制细节，能够在大规模廉价集群中以并行、可扩展、容错、易用、透明的方式支持各种并行算法的高效执行，为开发人员提供简洁的编程抽象，极大降低大规模集群并行编程的门槛．;Dryad(Micros0ft)

MapReduce(Google)

谷歌公司的MapReduce是最早受到关注且应用最广泛的并行编程模型，并且随着其开源实现Hadoop的兴起，已经成为学术界和工业界事实上的海量数据并行批量处理的标准。

特性：线性可扩展性、高可用性、易用性、容错性、负载平衡以及鲁棒性。可伸