地震数据处理系统的作业容错和迁移-电子与通信工程专业论文.docx

JOB FAULT TOLERANCE AND MIGRATION OF SEISMIC DATA PROCESSING SYSTEM A Master Thesis Submitted to University of Electronic Science and Technology of China Major: Master of Engineering Author: Wang Jian Advisor: Professor Lu Cai School : School of Communication Information Engineering 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也 不包含为获得电子科技大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示谢意。 签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论 文的规定，有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 摘要 摘要 I I 摘 要 近年来，随着高性能计算持续高速发展，其结构组成越来越复杂，资源规模 也越来越大，同时整个系统某个部件出现故障的概率也急剧增加。因此，利用计 算机相关容错技术，为系统添加相应的容错功能，以便确保整个系统的高可用性， 也显得越来越重要。现有的地震数据处理系统功能已经十分强大，支持复杂作业 的处理执行，但是针对各种故障导致作业运行失败的情况，只是实现了最简单的 容错处理，在实际使用中处理效率较低；同时在为作业选择运行节点时，采用了 静态调度方式，在实际作业执行的过程中，各个节点资源仍然可能发生负载不均 的情况，此时会降低系统的运行效率，加长了作业运行花费的时间。 本文的目的是为现有地震数据处理系统，设计并实现一种支持作业自动容错 和运行时作业动态迁移的子系统。通过深入研究计算机系统相关容错技术和进程 迁移技术，在现有地震数据处理系统的基础上进行了功能添加和改进，主要工作 包括： 1、设计和实现了作业检查点自动容错子系统。通过深入理解现有检查点容错 和恢复技术，针对集中式和分布式执行控制系统，设计和实现了用户级的检查点 容错系统；针对具有道驱动特性的单道处理作业执行过程，设计和实现了应用级 的检查点容错系统。 2、设计和实现了作业运行时动态迁移子系统。在作业执行过程中，通过将作 业进程从高负荷节点转移到空闲节点上继续执行，保障了整个集群数据处理系统 的作业分布均衡，在静态调度的基础上进一步提高了集群系统的运行效率，保证 了系统的负载均衡。 3、实验测试。通过测试发现，作业检查点容错子系统中检查点设置和卷回恢 复等操作花费的时间成本和存储开销都相对较小，不会影响作业的正常运行，有 效地增加了数据处理软件的可用性；作业迁移子系统通过在不同节点间转移作业 进程，进一步减少了作业执行花费的时间，保障了系统资源的有效利用。 总之，本文的作业检查点系统能够有效解决由于故障导致的作业运行失败，极 大的提高系统的容错处理效率，减少作业重复执行时间；同时通过作业迁移子系 统的使用，有效的保证了集群的动态负载均衡，进一步提高了作业的执行效率。 关键词：高性能计算，地震数据处理，检查点，作业迁移 AB ABSTRACT II II ABSTRACT In recent years, with the rapid growth of high performance computing, its structure is more and more complex, and the scale of resource is becoming more and more big, at the same time, a component failure probability in the whole system is increased dramatically. Therefore, by using computer related fault-tolerant technology, adding the corresponding fault tolerance for the system, and ensuring t