CUDAMPI和OpenMP三级混合并行模型的研究.pdfVIP

第 3 1卷第 9期 微 　计 　算 　机 　应 　用 Vo l31 No9 20 10年 9月 M ICROCOM PU TER A PPL ICA T ION S Sep 20 10 CUDA、M P I和 O penM P三级混合并行模型的研究 滕人达 　刘青昆 (辽宁师范大学 　计算机与信息技术学院　大连 　116081) 摘要 :采用 CUDA + M P I + Op enM P 的三级并行编程模式 ,实现节点间的粗粒度并行 ,节点内的细粒度并行以及将 GPU 作为并 行计算设备的 CUDA 编程模型 。这种新的三级并行混合编程模式为 SM P机群提供了一种更为高效的并行策略 。本文讨论了 三级并行编程环境的快速搭建以及多粒度混合并行编程方法 ,并在多个节点的机群环境中完成测试工作 。 关键词 :CUDA 　M P I　O penM P　图形处理器 　机群系统 M ixed CUDA 、M P I and O penM P in Three M ode Para llel Programm ing TEN G R enda, L IU Q ingkun (College of Comp uter and Inform ation Techno logy, L iaon ing Norm al Un iversity, D alian, 116081, Ch ina) A b stract:U sing CUDA + M P I + Op enM P p arallel p rogramm ing model of the three to ach ieve the coarse - grained p arallelbetween node s, node fine - grained p arallelism a s well as w ith in the GPU a s a p arallel compu ting devices CUDA p rogramm ing model Th is new three p arallel hyb rid p rogramm ing way SM P clu ster p rovide s a more efficien t p arallel strategy Th is article discu sses the three p arallel p rogramm ing environm en t to bu ild fa st and mu ltigranu lar hybrid p arallel p rogramm ingm ethod, and in a num ber of node s in the clu ster environm ent, the comp letion of te sting Keywords: CUDA ,M P I, OPenM P, GPU , clu ster p arallel ( ) SM P Symm etric M u ltip roce ssor 机群系统已经成为一种并行计算机体系中的主流体系结构 。它是由拥 有多个处理器的 SM P节点和高速网络连接设备组成的多级体系结构 。这种体系提供了节点间的粗粒度和 ( 节点内的细粒度的两级并行 。目前较为流行的并行程序设计模型为基于消息传递的 M P I M e ssage Pa ssing ) In terface 编程模式 , SM P节点内的 Op enM P模式 ,结合 M P I和 Op enM P 的混合