共享存储机群结构 - 计算机应用研究室.pptVIP

基于共享存储的并行技术－－OpenMP 报告人：潘 捷 导 师：王华忠 2009.3.27 主要内容 并行技术概况 OpenMP介绍 OpenMP的应用 1 并行技术概况 程序设计方法的演进： 顺序程序设计 （无模块化思想） 结构化程序设计 （模块化思想的萌芽） 面向对象程序设计（模块化走向成熟） 并行程序设计 （充分利用硬件） 并行计算机结构 体系结构 消息传递多计算机结构 结构特点： 各结点独立存储空间 高速互连（交叉开关、网络、总线） 统一管理模式 消息传递的数据交换、同步机制 稳定性、可扩展性高、抗灾难性 消息传递多计算机结构 典型技术架构 集群 服务器镜像技术 应用程序错误接管集群技术 容错集群技术 MPP(Massive Parallel Processing) 同一地点 特制的互连网络(Mesh、交叉网络开关) 消息传递多计算机结构 软件支持 MPI PVM 程序执行分为多个任务，用户必须为每个任务显式的分配数据和工作负载 小结 主要用于超级计算机，由于硬件制作昂贵，且并行算法设计非常复杂，一般都是很有实力的公司和研究机构从事此类计算机研究和设计，但其功能强大，主要从事大规模科学计算 共享存储多处理机结构 结构特点 共享内存 硬件缺省情况下各个CPU的cache与内存有数据传输存在 编程模型易用 目前可以在UltraSPARC、SPARCserver、Alpha、PowerPC架构上实现 可利用包括486以上所有Inter芯片实现 共享存储多处理机结构 典型技术架构 SMP (Symmetrical Multi-Processing) 多个处理器运行操作系统的单一复本 对称性 内置APIC (Advanced Programmable Interrupt Controllers) 通过共享系统总线来存储数据 自动实现负载均衡 存在问题：抢占内存问题和内存同步问题 共享存储多处理机结构 软件支持 POSIX OpenMP 共享存储机群结构 针对： 分布式存储：可扩展性强、可编程性差 共享式存储：可扩展性差、可编程性强 产生 NUMA(Non-Uniform Memory Access ) 共享存储器分布于各结点 SMC(Shared Memory Cluster) 基于软件DMC将独立存储地址统一编址 2 OpenMP介绍 全称： Open specifications for Multi-Processing via collaborative work between interested parties from the hardware and software industry, government and academia 发展： 由ARB体系结构评定委员会组织发起 OpenMP介绍 语言：C、C++、Fortran 系统：包括所有操作系统和几乎所有体系结构(linux 、WinNT) 编译器： gcc-4.3.2(GOMP组织编写) 原则：简单化并行程序设计，对所有GNU支持的系统提供一种简单方式实现并行化，且不对算法设计产生影响，可以方便实现程序串行、并行转换 长期目标：为OpenMP建立更简单高效的代码 目前：提供一个支持库libgomp和一个扩展命令解释器 OpenMP 实现原理：在程序中插入编译信息，当编译器遇到编译信息，根据信息提供的命令自动并行化下面的程序块，实现方便，动态改变参与执行的线程数和自动实现负载均衡 提供三种API： Compiler Directives (Directive + Clause) Runtime Library Routines Environment Variables 基本格式 格式： ＃pragma omp directive-name [clause…] newline [structured-block] Compiler Directives 作用域规则(for C/C++) private(list)： 申明线程私有的变量（使用时上锁） shared(list)： 申明为并行线程组共享的变量 default (shared | none)： 为所有变量设置缺省属性 firstprivate (list)：用主复本变量自动初始化list中变量 lastprivate(list)：利用最后一次迭代或机构块来给主复本赋值 COPYIN、COPYPRIVATE、REDUCTION Runtime Library Routines  Environment Variables RLR提供一系列API函数供程序调用，主要涉及： 获得线程或处理器数