第三章 并行程序设计.pptVIP

网络计算环境(Grid/Cloud) 访问网络中的某台超级计算机：当前主要的模式 EGEE希望帮助用户选择需要访问的超级计算机 不适合计算松耦合问题：计算无耦合问题不错，我们做了这方面的工作 网格刚兴起的时候，很多人尝试在网络环境运行MPI程序，效果很不理想 计算的问题要足够复杂：通信-计算比 并行技术的使用离不开人的参与 需要人根据问题特征发现并行性、选择计算平台 需要人根据计算平台划分计算任务、优化数据存取效率 在基于Cache的多核处理器上，计算任务的粒度要考虑Cache的命中率 在网络计算环境上，计算任务的粒度要到批作业级才合适 看几个问题 求素数问题：如何并行 N-body问题：如何减少同步、维护数据一致性 物体间的万有引力定律，促使粒子的运动 规则的大数组计算：C语言中以行优先访问、Fortran语言中以列优先访问可以提高数据的存取效率，在基于Cache的多核处理器平台上，这个将更重要 并行算法的设计问题 从串行算法出发，寻找能够并行的循环 串型程序自动并行化的思路，实践表明不理想 串行算法本身常常没有体现问题的并行性、或者隐藏了数学/物理模型中的并行性 求素数问题 并行算法的设计实现要考虑计算平台：以我们做的大规模基因组可变剪接问题为例 问题域中有几万个互相独立的批作业 在SMP/(有NFS、PFS支持的)cluster环境上：每个批作业作为一个任务 在网络计算环境上，要把几百个、甚至几千个批作业合并成一个子任务才会有效：这方面国际上已经有些类似的工作 新的软件危机？ 软件危机：与软件消耗的计算能力相比，硬件提供的计算能力过剩 20世纪60、70年代，计算机的能力已经比50年代有巨大进步 计算机的应用领域已经不只是在核武器计算 人们使用汇编语言编写程序：程序员少、生产效率低 难题：如何开发更多的软件 解决 高级语言和编译技术，屏蔽计算任务到硬件设备的映射：Fortran、C 操作系统技术，屏蔽硬件的实现和操作细节：软件移植、应用软件分时共享系统资源 编程方法(软件复用、可维护、可扩充)：结构化、面向对象 今天的情形 计算能力过剩 Intel、AMD、IBM都在力推多核处理器 网络已经不只是交流信息，在P2P方面事实上已经成为计算平台 应用程序主要是串行的 编写并行程序是少数人的专利、效率低 需求在扩展 网络计算已经深入社会生活的方方面面：支持大量的并发用户 科学工程领域更加依赖高性能计算技术 研究工作的深度扩展：高精度、大规模 研究工作的广度扩展：软件的协同、数据的综合 汇编语言写串行程序 C语言写CELL处理器程序 CPU操作寄存器数据，编程人员负责寄存器与内存数据的交换 SPU操作局部内存数据，编程人员负责局部内存与全局内存的数据交换 编程人员将计算任务分解到指令，规划指令的执行次序 编程人员将计算任务分解到SPU的粒度(代码和数据的规模不超过256KB)，规划子任务的并发关系 以BYTE为数据存取的基本单位 以128BTYE(SPU寄存器大小)为数据存取的基本单位 在Intel和AMD的多核处理器上：如何开发多个执行核的并行计算能力 使用C语言：只使用了一个处理器执行核的计算能力 使用C+pthread：并行算法设计、cache的命中率 分别执行不同的进程：进程之间的Cache竞争 更进一步：如何开发SMP服务器、CLUSTER、网络计算环境的并行能力？ 多核的硬件时代已经到来 采用的多核技术，CPU的运算速度继续按照Moore定律增长 18个月，运算速度增长一倍 一块芯片上通用微处理器执行核的数量真的会很多(比如超过32)吗？制造工艺也许允许厂商这么做，但真能从软件方面发挥其计算性能吗？ 矛盾：最终用户体验到的性能改进极其有限 多核的存储模型是什么？存储设备的性能早已成为性能的瓶颈，(我认为)也成为决定多核处理器时代存续的关键 基于cache？ (我认为)至少不能对程序员完全透明 基于DMA？ (我认为)至少不能完全将细节交给程序员 一种全新的技术？我们拭目以待 适合多核时代的软件技术是什么？ 操作系统的理论和技术需要创新 编译理论和技术需要创新 编程语言和模式需要创新 网络计算的时代已经到来 曾经，网络对我们而言 快速、廉价的数据交换：FTP 有限的资源共享：TELNET/SSH 快速、廉价的通信：EMAIL 用低端设备实现高性能的计算：分布式计算、CLUSTER 今天的网络是信息存储、交流、聚合的平台 网页搜索、浏览 BBS/微博 电子商务 电子政务 但我们还希望网络是计算资源、软件资源、数据资源的聚集和共享平台：人们象使用今天的大型计算机一样使用网络环境、人人都可以随时访问 网格计算技术、云计算技术、还是其他计算技术？ 网络计算环境与超级计算机 今天人们对网络计算环境的需求，用现有的超级计算机都