SVM系统%3a编程界面、编译辅助与应用.pdf

中国科学技术大学博士论文 摘要 摘要 共享虚拟存储系统(SVM)结合了共享存储系统的可编程性和消息传递系统的 硬件简单性，它在基于消息传递的MPP和机群系统中，用软件的方法把分布于 ， 各节点的多个独立编址的存储器组织成一个统一编址的共享存储空间。(其优点 是在消息传递的系统上实现共享存储的编程界面，主要问题是难以获得满意的 性能。然而，最近SVM技术和网络技术的发展使得SVM系统的性能得到了极 大提高。研究表明，对于大量的应用程序，SVM系统的性能可达到消息传递系 统性能的80％以上。因此，现在正是将SVM系统推向并行计算主流的大好时 机。 SVM系统目前面临的一大问题就是缺乏一个有影响的共享存储编程的标 准，但最近为共享存储系统提出的OpenMP标准却可以推广到SVM系统上来。 因此，仿效Rice大学的OpenMPNOW!项目，我们在计算所先进编译技术组已 有的自动并行化编译器AutoPar基础之上，尝试为虚拟共享存储系统优化实现 OpenMP标准。 自动并行化编译器不仅可以用来实现OpeniP制导到SVM系统专用编程界 面的转换，而且可以收集到大量应用程序存取共享数组的信息，虚拟共享存储 系统利用这些信息可以做大量的协议优化。通过引入更为精确有效的编译分析 和表示技术，我们实现了一个编译辅助的虚拟共享存储系统CA-JIAJIA。 SVM应用研究相对滞后是SVM始终不能成为并行计算主流的原因之一。 我们认为，一方面是寻找适合于SVM的实际应用，打开一到两个缺口，将理 论上日臻完美的SVM系统大力推向实用；但同时，也可以将SVM研究中提出 的大量精巧思想和各种实现技巧运用到各种分布式／并行系统的构建上，为此，厂o… 我们尝试将分布式共享内存系统的思想运用到并行文件系统的实现上。 本文的主要贡献和创新如下： ／ 的软件虚拟共享存储系统中去，并针对SVM系统不同于SMP的体系结 构特征对OpeniP标准进行了适当的和尽可能少的修改和扩充，这些扩 中豳科学技术大学博士论文 摘要 充茅器修改易于融会遴磊蓠仍在遨速发震中豹OpenMP标准之中，并大大 扩展OpenMP标准和自动并行化编译器的应用范围。为此，l本文提出并 实现了～个基于琢膏韵自动并行纯编译褥AutoPar的瑟尚虚羧共享存储 译器的弓{入使得我们可以检轰OpenMP程净的语义正确性，同时，OpenMP 制导标准的引入也进一步方便了用户的编瑕弗大大提赢了代码的可移植 性和爵扩展性。7 统三者桷互结合，取长补短，尤其自动并行亿编译貉的引入使得我们可 以通过编译器收袋魄应用程廖傣息来消除或减少售秘运弦对魄一致矬维 护汗镝。为此，j我们在JIAJIA系统的基础t设计实现了一个编译辅助的 出并实现了三释协议优化方法。{包括基于葛向量的预取“读”页蕊的脏 块，不取“只写”爽恧和一釉新的写检测舞法：编译辅助黪霉捡测(CA- 范疆谯．3+0％至tJ+10．2％Z阍。卜? (3)作为CA—JIMIA系统的编译技术支撑，我们引入了一种新的数缌区域 分辑秘表示方法：德序j螟廖存取域描述PLARD。i当蓊太多数的数据访溺 描述授术，只能针对简单数据访问模式；对于复杂访问模式，它们缺少 精貔、霄效麴撼述手段。我镪弓；入钓编净线性存取城描述简仡了笈杂访 问模式下对数据访问空间的描述，能谚简单、精确地擞述大多数访问模 式下线性数据访润窆阕，隽CA4IA33A系统的各种优化措施提供了登实 的理论基础·少 、 (4)利用寝接共事存结系统静许多精巧惑想移实现技术，我们为JIAJIA系 统开发了一个惹塑塞堡赛练GPFS。(GPFS系统利用文馋映射接口作为应用 程痒编程接疆，嚣能系统设计交得相当简单，并且得以乖j礴软件DSM系 统的大量特性，谶一步获取了较高的性娆葶n更高的可纛性。采用GPFS 文件系统后，在Dawn2000并彳予梳上，测试应用的整体性能都有了很大 的提高并满足了大量实际应用的I／O要求。■、一