天体物理成团研究中的非规则访存优化-上海超级计算中心.PDF

34 《高性能计算发展与应用》 2016年第一期 总第五十四期 天体物理成团研究中的非规则访存优化  郝赫 濛司雨韦建文 文敏华 林新华 上海交通大学高性能计算中心 上海 200240 james@ 摘要： Halo-based Galaxy Group Finder(HGGF)算法实现了基于暗物质晕的星系找群，在研究宇 宙大尺度结构及宇宙的演化等领域中占有至关重要的地位。但由于数据规模的增长，急需对 HGGF算法进行优化，以缩短运行时间。经分析，算法的热点部分耗时受到非规则访存的严重 影响，因此我们针对算法的结构和非规则访存模型，提出了数据预排序方法，并分析了该方法 如何影响访存过程。在此基础上，我们还利用数据对齐、循环分解进一步优化访存效率，利用 负载均衡和互斥变量私有化的方法提高了OpenMP的并行效率，最终将HGGF应用使用12线程 加11.6倍，同时取得了更好的弱可扩展性。本文主要有三点贡献：（1）HGGF算法非规则访存 问题的分析；（2）数据预排序方法的提出及分析（3）使用数据对齐、循环分解、负载均衡、 互斥变量私有化方法提高HGGF应用并行性能。 关键词：天体成团、非规则访存优化、数据预排序、并行计算 1. 问题简介 数据结构，而在天文学或分子动力学的N体模拟问题 随着天文观测能力的不断提高，天文数据急剧 中，粒子间的位置和连接关系往往非常复杂，使用 9 [1] [7] 增加，其中星系的观测总量已经达到10量级 。面 数组的存储效率更高 。在HGGF算法的核心部分， [8] [9] [9] 对来自大型数字巡天计划的海量数据，如何从数据 由于连接体积 和索引数组 的存在，主数组 的访问 中迅速、准确地提取所需要的内容，直接影响着天 顺序被彻底打乱，因此我们将HGGF算法的访存方式 文学的发展和研究进程。其中，如何将可观测的星 视为非规则访存。非规则访存算法通常表现出极少 系和理论中不可见的暗物质晕联系起来，是天体物 的数据局部性和数据重用、大量的动态非连续存储 理研究中的重要难题之一。天文学家们利用计算机 访问以及细粒度的同步或通讯，在现代处理器基于 [2] 缓存的架构下，缓存的利用效率会对程序的性能起 设计出多种Group-finding算法 来寻找同一暗物质 [3][4] 决定性作用，而非规则访存算法由于访问地址不连 晕中的星系。FOF （Friends-of-Friends)是Group- finding算法中最早的算法之一，对于理解宇宙的结构 续，甚至是随机访问，缓存内的数据不能得到高效 和演化具有重大意义。HGGF算法由FOF算法演变而 利用，加上CPU和内存之间的速度差异，即使CPU计 来，虽然同样是对星系进行分类，但HGGF算法是依 算能力很强，也不能获得好的性能。 [2][5] 随着异构计算的发展，在科学计算或是工程