基于Lustre文件系统的MPI检查点系统实现技术和性能测试.pdfVIP

2007年全国高性能计算学术年会 基于Lustre文件系统的MPI检查点系统实现技术与性能测试 谢曼万国伟卢宇彤周恩强曹宏嘉 (国防科学技术大学计算机学院湖南长沙410073) (xmxmxie@gmail．com) 摘要基于协同式检查点的回卷恢复是在大规模并行计算机系统中得到采用的一项重要容错技术，其性能开销主要为协同协 议和检查点映像存储所决定。描述了一个在MPICH2中实现的应用透明的并行检查点系统，相比已有的技术，该系统有以下 特点：(1)协同协议操作利用了并行应用的近邻通讯特性，通过虚连接方法减少协议的处理开销；(2)采用Lustre文件系 统简化检查点映像文件管理的复杂性：(3)通过并行I／0操作提高·}生能，优化检查点映像的存储过程。实际应用的测试表明， 该检查点系统具有较小的运行时间开销和良好的可扩展性。 关键词容错技术：MPICH2；回卷恢复；协同式检查点；Lustre文件系统 中图分类号TP316．4 andEvaluationofMPI overLustreFile Implementation CheckpointingSystem System Xie Min，WanGuowei，Lu Hongiia Yutong，ZhouEnqiang，Cao ofDefense (School University Technology,Changsha，Hunan，410073) ofComputer,National fault-tolerant based hasbeen AbstractAsoneofthemost rollback·recovery important techniques，coordinatedcheckpoint adopted and aretwo factorsthataffectthe in scale storage major large parallelcomputersystems．Coordinatingprotocolcheckpointimage overheadof novel inMPICH2 systems．Aapplication—transparentparallelcheckpointingsystemimplemented parallelcheckpointing this aresummarizedas thefeatureof is with of existingtechniques，theadvantagessystem follows：(I)utilize proposed．Compared in andvirtualconnectionmethodtoreducethenumberofinternal in communication near-neighbor applications messagesexchanged hencetoreducethe of Lustrefile to processing；(2)stor