高可用集群作业管理系统的研究与实现-计算机技术专业论文.docxVIP

学校代码 10701 学 号 1203121802 分 类 号 TP31 密 级 公开 西安电子科技大学 硕士学位论文 高可用集群作业管理系统的研究与实现 作者姓名： 张静 领 域： 计算机技术 学位类别：工程硕士 学校导师姓名、职称： 陈平教授  企业导师姓名、职称： 梁爽 高工 提交日期： 2014 年 10 月   Research and Implementation of High Availability Cluster Job Management System A thesis submitted to XIDIAN UNIVERSITY in partial fulfillment of the requirements for the degree of Master in Computer Technology By Zhang jing Supervisor: Chen ping October 2014   西安电子科技大学 学位论文独创性（或创新性）声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 学位论文若有不实之处，本人承担一切法律责任。 本人签名： 日 期： 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属于西安电子科技大学。学校有权 保留送交论文的复印件，允许查阅、借阅论文；学校可以公布论文的全部或部分 内容，允许采用影印、缩印或其它复制手段保存论文。同时本人保证，获得学位 后结合学位论文研究成果撰写的文章，署名单位为西安电子科技大学。 保密的学位论文在 年解密后适用本授权书。 本人签名： 导师签名： 日 期： 日 期：  摘要 西安电子科技大学硕士学位论文 摘要 随着科技的发展和企业规模的扩大，越来越多的企业使用计算机处理常规化 的作业任务，而单独使用某一台高性能的机器已经不能满足日渐增多的业务，也 存在扩展性差，无法保证高可用性以及性价比不高的问题，采用大量普通服务器 组成的服务器集群已经是解决此问题的普遍方式。采用高速网络连接大量普通计 算机构建的计算机集群具有成本低，性能高，批处理能力和并行计算能力很强的 特点，因此，得到了快速发展和普遍应用。但是由于集群个体间的差异性，集群 统一的资源管理，作业调度，集群监控，集群负载均衡等问题也成为使用集群处 理作业需解决的首要问题，这促使了集群作业管理系统的产生。 本文首先对项目背景进行深入的研究，充分挖掘本项目所构建的高可用集群 作业管理系统需要满足的条件，然后对国内外典型的集群作业管理系统和调度算 法进行了相关研究，分析每一种算法的优缺点。在此基础上，本论文以开源集群 管理系统 Torque 为基础，改进其作业调度算法，构建同时支持及时作业和定时作 业的高可用集群作业管理系统。本论文主要工作如下： 1. 针对项目需求特点，引入面向对象中“继承”的思想，利用“作业模板”和 “执行态”解决同类场景细节不同问题，简化系统设计，同时也为用户提供更简洁 方便的页面操作。 2. 利用稳定的 Haproxy+Keepalived 组合，构建支持高可用和负载均衡的集 群作业管理系统。为提高系统的高可用性，避免单点故障，同时能应对高并发的 作业请求，本系统采用成熟稳定的 Haproxy+Keepalived 组合，同时采用 N+1 冗余 备份，构建支持高可用和负载均衡的集群作业管理系统。 3. 改进 Torque 系统薄弱的作业调度策略，提高系统性能。本论文重点研究 开源集群管理系统 Torque，分析其重要的数据结构以及作业调度模块的具体执行 步骤，利用开源集群管理系统 Torque 构建本项目需要的集群作业管理系统，为 改善 Torque 在作业调度方面的弱项，提出一种新的下次最小队列相对负载调度 算法来替换 Torque 本身比较薄弱的作业调度算法，并改进其先来先服务的作业 选择策略，避免大作业对调度进程的阻塞，提高集群资源利用率和系统吞吐量。 4. 借鉴 cron 定时表达式，支持定时作业。为支持定时作业，本论文系统借 鉴 Linux 系统自带的定时任务 cron 表达式规则，实时监测定时作业，对于时间到 达的定时作业投入到改进的 Torque 中处理，使得系统同时支