多机虚拟执行技术的应用研究.pdfVIP

专题 第 7 卷  第 10 期  2011 年 10 月 多机虚拟执行技术的应用研究 薛瑞尼 翟季冬 陈文光 郑纬民 关键词 ：虚拟执行 并行计算 行为分析 性能预测 清华大学 引言 是需要运行多个进程来配合。文献[1]提出基于这两 种方式的优点，可将二者结合在一起，通过将程序 由于记录/重演 （r ecor d/r ep l ay ）并不是在机器 进行分组，在分组之间进行数据重演，而在分组内 上完全放开程序的执行，而是在一定的控制下执 部则进行顺序重演。这种虚拟执行的方式能够在降 行，特别是在重演阶段，是在运行时的控制下，按 低数据记录量的同时降低分组之间的程序依赖性。 照记录阶段的过程进行虚拟的执行，所以，本文将 记录/重演可以用于性能预测。性能预测是通过 记录/重演的技术手段称为虚拟执行方式。在记录运 分析、测试和模拟等手段预测一个程序在某个目标 行过程中，虚拟执行工具记录的是程序的输入数据 平台上的执行时间。这也是计算机领域中一个重要 （如消息）。如果需要对某个进程进行调试，则将 的研究课题。在并行程序性能预测方面，一般有基 其运行在重演状态。程序的执行顺序和记录阶段完 于分析的方法、基于模拟的方法以及黑盒技术。本 全相同，且运行完全受程序员控制，可以方便地跟 文所阐述的通过虚拟执行方式进行并行程序性能预 踪程序状态。 测是一种结合了分析与模拟方式的方法。此方法的 现有的面向并行的程序，例如消息传递接口 思路是先对并行程序进行分析，利用虚拟执行方式 （message passing interface ，MPI ）程序的虚拟执 在模拟器上解析出其通信模式，这是因为通信模式 行工具，可以分为两类：第一类是数据重演 （dat a [3] 对于并行程序的性能预测具有非常大的影响 ；随 r ep l ay ）。在记录过程中，每个进程都将所有收到 后，通过使用一个目标节点虚拟执行程序记录下的 的消息完整地记录下来，在重演过程中，程序员就 行为，完成对节点的性能模拟，并结合前述的通信 可以独立地重演任何一个进程而无需启动其它进 模式，就能够完成对于并行程序的性能分析[4] 。 程；第二类是顺序重演 （order replay ）。在记录过 程中，只记录可以引起程序不确定性的函数的输出 MPIWiz：针对并行MPI程序的 （即不确定事件的确定性顺序），如M P I程序中带 分组再现重演的虚拟执行方法 有MPI_ANY_SOURCE参数的MPI_Recv 。重演过程 中的发送进程负责重新生成消息内容，并发送至接 并并行程序的虚拟执行方法M P IW i z针对的是 收进程。不确定性操作的执行序列和记录阶段的完 当前主流的并行编程模式M P I 。M P I是分布式计算 全相同。由于顺序重演只记录不确定性事件的时序 环境中实现粗粒度并行编程的事实标准。然而， 信息，产生的日志规模远小于数据重演。 M P I程序内在的不确定性和计算规模使得调试程序 数据重演的好处是进程之间相互独立，缺点是 非常困难。 需要记录的日志量可能非常庞大。而顺序重演正好 M P IW i z方法的基本思路是在进行记录的时候 相反，所记录的非确定性时序的数据量比较少，但 做分组记录，重演阶段按照组来虚拟执行。这种 30 第 7 卷  第10 期  2011 年 10 月 设计基于这样的观察事实：并行程序中的进程通常 态链接库注入用户编译好的MPI程序 （MPI