高可用集群系统关键技术的研究与实现-计算机科学与技术专业论文.docxVIP

万方数据 Nanjing University of Aeronautics and Astronautics The Graduate School College of Computer Science and Technology Research and Implementation of Key Technologies on High-Availability Cluster System A Thesis in Computer Science and Technology by Xu Chaoqun Advised by Prof. Cao Zining Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Engineering January, 2014   承诺书 本人声明所呈交的硕士学位论文是本人在导师指导下进 行的研究工作及取得的研究成果。除了文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得南京航空航天大学或其他教育机构的学位 或证书而使用过的材料。 本人授权南京航空航天大学可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后适用本承诺书） 作者签名： 日 期：  南京航空航天大学硕士学位论文 摘 要 目前，计算机系统已全面进入“云计算”、“大数据”时代，由大规模服务器集群响应海量 请求和处理海量数据已经成为必然趋势。但是仅仅具有高性能计算能力的集群系统还远远不能 满足这种大规模应用的需要，它必须还能够提供连续的服务。所以如何提高集群系统的可用性， 尽最大可能避免因系统失效而导致的严重后果，并设计可扩展的高可用集群系统，已经成为当 前集群系统研究的热点问题之一。 本文对高可用集群系统进行了研究，设计了一个高可用集群系统的框架，并对高可用集群 系统的两个重要问题：容错机制和任务分配与迁移机制进行了深入研究。针对目前心跳检测算 法普遍将心跳包的超时时间阈值设定为固定值而导致误判的问题，本文提出了一个基于 ARMA 预测的双层心跳检测算法，该算法采用 ARMA 方法预测心跳包的到达时间间隔，动态设置心跳 包的超时时间，从而减少对节点状态的误判；针对目前负载均衡分配算法未考虑任务与资源的 相关度问题，本文提出一个资源相关度关键的负载均衡分配算法，该算法充分考虑任务与各节 点资源的相关度，能够在保证系统负载均衡的前提下，尽可能地将任务分配给与其相关度高的 资源运行。 论文将提出的心跳检测算法应用于容错机制中，负载均衡算法应用于任务分配机制中，并 初步实现了高可用集群核心部分的原型系统。对所实现的系统进行了性能测试实验，对实验数 据的分析表明：系统具有故障检测正确率高、可用性高、负载均衡性能优秀以及任务等待时间 短等优点。 关键词：集群，高可用，容错，任务分配，心跳检测，负载均衡 i 高可用集群系统关键技术的研究与实现 ABSTRACT Nowadays, the computer system enters an era of cloud computing and big data, with inevitably using large-scale server cluster responding to mass requests and processing mass data. High-performance cluster system cannot meet the demand of these large-scale applications. One of focused problems in current cluster system researches is how to improve the availability of cluster system, for avoiding the serious consequences caused by system failure and designing an extensible high-availability system. This thesis focused on the high-availability cluster system, designed a framework for the high-availability cluster system and further studies its two critical problems -