并行与分布式计算前沿课件.pptx

计算机前沿讲座并行与分布式计算2017-10-23主要内容一、概念辨析二、并行计算三、分布式计算四、基于GPU的高性能计算五、分布式应用框架Hadoop 一、概念辨析并行计算分布式计算并行计算vs分布式计算网格计算云计算云计算vs网格计算普适计算普适计算vs云计算并行计算：并行计算或称平行计算是相对于串行计算来说的；所谓并行计算可分为时间上的并行和空间上的并行。 时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。并行计算科学中主要研究的是空间上的并行问题。? 并行计算通常是针对计算量的科学计算问题。分为：单机的多核多处理器的并行 多机（集群）的并行集群计算集群服务高性能计算，超级计算分布式计算：是计算机科学的一个重要分支，它主要研究如何把一个需要巨大的计算能力才能解决的问题分解成许多小的部分，然后把这些部分再分配给许多志愿者计算机进行处理，最后把这些计算结果综合起来得到最终的结果。? 目前常见的分布式计算项目通常使用世界各地上千万志愿者计算机的闲置计算能力，通过互联网进行数据传输。可以帮助一些缺乏研究资金的、公益性质的科学研究，加速人类的科学进程。有效利用全世界联网机器的闲置处理能力，向大众普及科学意识。并行计算vs分布式计算（1）并行计算借助并行算法和并行编程语言能够实现进程级并行（如MPI）和线程级并行（如openMP）。而分布式计算只是将任务分成小块到各个计算机分别计算各自执行。（2）粒度方面，并行计算中，处理器间的交互一般很频繁，往往具有细粒度和低开销的特征，并且被认为是可靠的。而在分布式计算中，处理器间的交互不频繁，交互特征是粗粒度，并且被认为是不可靠的。并行计算注重短的执行时间，分布式计算则注重长的正常运行时间。网格计算网格计算是分布式计算的一种；网格计算的实质就是组合与共享资源并确保系统安全。网格计算通过利用大量异构计算机的未用资源（CPU周?期和磁盘存储），将其作为嵌入在分布式电信基础设施中的一个虚拟的计算机集群，为解决大规模的计算问题提供一个模型。网格计算的焦点放在支持跨管理域计算?的能力，这使它与传统的计算机集群或传统的分布式计算相区别。云计算云计算是最新开始的新概念，它不只是计算等计算机概念，还有运营服务等概念了。它是分布式计算、并行计算和网格计算的发展，或者说是这些概念的商业实现。云计算不但包括分布式计算还包括分布式存储和分布式缓存。分布式存储又包括分布式文件存储和分布式数据存储。云计算vs网格计算网格计算强调资源共享，任何人都可以作为请求者使用其它节点的资源，任何人都需要贡献一定资源给其他节点。网格计算强调将工作量转移到远程的可用计算资源上。云计算强调专有，任何人都可以获取自己的专有资源，并且这些资源是由少数团体提供的，使用者不需要贡献自己的资源。网格计算侧重并行的计算集中性需求，并且难以自动扩展。云计算侧重事务性应用，有大量的单独的请求，可以实现自动扩展。普适计算普适计算（Pervasive / Ubiquitous Computing）是指，无所不在的、随时随地可以进行计算的一种方式；无论何时何地，只要需要，就可以通过某种设备访问到所需的信息。普适计算最重要的两个特征： 间断连接；轻量计算（即计算资源有限）普适计算的软件技术就是要实现在这种环境下的事务和数据处理。普适计算vs云计算概念不同普适计算是学术概念云计算是商业概念高度不同普适计算是一种思想：融合云计算是一种手段研究的重心不同普适计算强调终端与服务云计算更关注集合与协同应该成为未来并存的计算模式二、并行计算1 并行计算概述2 并行计算理论基础3 多线程编程4 OpenMP编程5 MPI编程1 并行计算概述1.1 并行计算定义1.2 为什么需要并行计算1.3 超级计算机的世界格局1.4 并行计算机系统结构1.5 并行平台的通信模型1.6 设计并行算法的四个阶段1.7 并行算法—求和1.1 并行计算定义并行计算是相对于串行计算来说的；所谓并行计算可分为时间上的并行和空间上的并行。 时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。并行计算科学中主要研究的是空间上的并行问题。? 并行计算通常是针对计算量的科学计算问题。分为：单机的多核多处理器的并行 多机（集群）的并行集群计算集群服务高性能计算，超级计算1.2 为什么需要并行计算1）特殊行业的需求：2）现代科学方法3）多核处理器“从某种程度上说，对于软件开发者而言，CPU主频提升就像是免费的午餐，此前所有的程序很自然地会从主频的提升中受益，而如今多核出现了，这种免费的午餐没有了。我们必须针对多核重新进行软件设计” 。多核技术是处理器发展的必然趋势。1.3 超级计算机的世界格局超级计算是解决国家经济http://action.utops.cc