新一代高性能并行编程陈一峰-HPCAdvisoryCouncil.PDF

新一代高性能并行编程 陈一峯 信息与技术学院 北京大学 多种通讯机制的必要性 不同设备的典型多种底层通讯机制（性能）: 集群消息传递(MPI/IB verbs) 多CPU多核使用共享存储 众核使用非顺序一致的共享存储 GPU与主存间PCI使用cudaMemcpy显式数据传输. 很难强迫程序员使用一种统一的通讯: 分布式共享存储? 弱一致性? 分化全局地址空间? 统一的通讯机制, no! 不同通讯机制的统一表示, yes! 影响通讯性能的主要因素 （需要源程序控制） 通讯与计算重合 （发出通讯的时机 ） 粒度 （消息长度） 因此“统一表示”必须足够丰富 ，允许控制: 数据位置(哪个存储器/ 内部地址) 数据与线程的关系 行优先、列优先存储 ，矩阵的转制、划分、分布… 集群点到点、集合通讯 多GPU同时进行PCI传输 …… Example (Transposition) From GPUs to Main Memory 并行化数组(PARRY) 存储类型 元素类型 维度树结构 类型互引 数据传输 这不就是简单代数吗! 可以证明代数系统具有完全性 所有使用加法、乘法、整数除法和整数 余数的下标表达式均可以表示为数组类 型的偏移表达式 任何通讯模式只要使用以上整数操作 ， 就能用Parray表示 （永远不需要升级规 范版本只需升级实现）。 Parallel PCI cudaMemcpy from Hmem back to Dmem 实现 Parray CUDA 子程序数组拷贝虚代码与实现 Any Array Types! 统一表示MPI 集合通讯 (点到点间通讯任意地址偏移组合) D An arbitrary array type MPI_Alltoall when being contiguous 北京大学天河湍流合作基础研究 PKUFFT （用GPU ） 规模达到日本地球模拟 MKL （不用GPU ） 器记录43倍。 美洲豹 FFT速度记录达到美洲 豹的1.6倍。 证明GPU加速在超大系 统上是实际可用的。 MKL 北京大学众核软件研究组提供以下服务 湍流 燃烧 计算宇宙学 洋流 新编程接口 研发软件工具 培训与移植服务