分布式检查点系统的存储优化策略研究计算机科学与技术专业论文.docxVIP

Optimization Optimization Strategies For Storage In Distributed Checkpoint System By CHEN Zheng)，u B．E．(GuangXi University)2013 A thesis submitted in partial satisfaction of the requirements for the degree of Master of Engineering Computer Science and Technology inthe Graduate School of Hunan University Supervisor Professor CHEN Hao May,2016 万方数据 湖南大学 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献 的个人和集体，均己在文中以明确方式标明。本人完全意识到本声明的法 律后果由本人承担。 作者签名：际改导 日期：训1年’月27日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被 查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编 本学位论文。 本学位论文属于 1、保密口，在 年解密后适用本授权书。 2、不保密口。 (请在以上相应方框内打“、／’’) 作者签名： 砾诙耳 日期： z圳；年方月21日 导师签名： 了东》岳 日期：切，二年朋2尹 万方数据 分布式检查点系统的存储优化策略研究摘 分布式检查点系统的存储优化策略研究 摘 要 随着计算机硬件水平的不断提高，超级计算和云计算架构的规模以及复杂度 也随之而增加。然而随着计算规模以及复杂度的增加，计算任务发生故障的概率 也会增加。例如在分布式系统中，一个节点的计算因为意外情况导致运行失败将 导致整个计算任务运行失败，这将带来巨大的资源浪费。因此，能够在故障发生 时容忍故障就显得尤为重要了。检查点技术就是这样一种有效的容错手段，已经 被广泛应用于计算机、数据库系统中。通过使用检查点技术，可以将程序在内存 中的状态信息写入到持久性的存储设备中。一旦程序运行发生了意外，通过将检 查点文件中的内容重新映射到内存中，最后能恢复程序的继续运行，这样就能够 最大程度的避免计算时间和资源的浪费。 然而随着检查点需要存储的内容越来越多，而且检查点的设置也越来越频繁， 因此使得检查点文件的大小也越来越大，这样就给存储的可扩展性带来了巨大的 挑战。本文首先分析了检查点文件中所组成的内容，然后针对于这些不同的内容 来进行实验，以此来获取检查点文件中内容的冗余性。在检查点文件中存储的内 容有：进程描述符、进程地址空间中的内容、寄存器里面的数据等。而对这些内 容在检查点文件中存储的比例中分析，发现进程地址空间中的内容占据了检查点 文件中大部分的存储空间。在随后对进程地址空间中的内容进行分析后发现，栈 段自身存在着非常多的冗余信息，而在分布式程序中，不同进程间的堆、栈段有 着极高的相似度，同时这些进程所运行的代码段、加载链接库以及采取了共享内 存通信方式的共享内存内容都是相同的。根据检查点文件中所组成内容的冗余性， 本文提出了一种减少检查点文件大小的方法。该方法是在设置检查点的过程中， 根据检查点文件中的内容的冗余性来采取不同的处理策略，最终达到减少检查点 文件大小的目的。 DMTCP是一个开源的检查点工具，根据本文所提出的减少检查点文件大小的 方法，本文对基于DMTCP的检查点系统进行了设计与实现。最后使用该系统进 行实验，实验显示了通过使用本文的方法可以减少单节点的应用程序检查点文件 大小20％左右，能够减少分布式程序检查点文件大小47％左右。 关键词：容错技术；检查点技术；检查点文件大小；冗余数据 Ⅱ 万方数据 硕士学位论文Abstract 硕士学位论文 Abstract With the level of computer hardware continuously improving，the scale and complexity of super—computing and cloud computing architecture will increase． However，the increasing scale brings more frequent occurances of faul