面向应用的集群资源管理系统设计与实现-通信与信息系统专业毕业论文.docxVIP

万方数据 万方数据 分类号 密级 UDC 注 1 学 位 论 文 面向应用的集群资源管理系统设计与实现 李涛 指导教师姓名 胡光岷 教 授 电子科技大学 成 都 申请专业学位级别 硕士 专业名称 通信与信息系统 论文提交日期 2011 年 4 月 论文答辩日期 2011 年 5 月 学位授予单位和日期 答辩委员会主席 评阅人 2011 年 月 日 注 1：注明《国际十进分类法 UDC》的类号。 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也 不包含为获得电子科技大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论 文的规定，有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 摘要 摘 要 近些年来，人们对计算机处理性能的要求越来越高，单个服务器已经逐渐不 能满足用户的需求，而超级计算机的价格非常昂贵，相比之下，集群系统具有高 性价比、高可用性、高扩展性的特点，因此逐渐成为了高性能计算的主流。集群 系统是通过高速网络互连起来的一组计算机，它们作为一个整体为用户提供应用 服务。石油勘探就是一个需要进行海量数据处理的行业，具有计算数据量大，算 法复杂的特点，对高性能计算的需求也是与日俱增。 集群资源管理系统的主要任务是对集群中的各种资源进行统筹管理，通过提 高系统资源利用率使系统达到更高的性能。本文所研究的集群资源管理系统是川 庆石油物探公司地震数据处理解释系统的关键支撑系统，为针对地震数据处理特 点开发的专用系统。本系统根据用户需求对集群资源进行统一管理，通过对用户 提交作业的合理分配，使系统资源得到高效利用，从而提高系统的工作效率。本 系统主要实现了以下功能： (1) 实现了对服务器与计算节点中资源对象的管理。服务器对整个集群系统 中所有计算资源进行统一管理，包含集群中所有的节点信息与作业信息；计算节 点对此节点上的计算资源进行管理，包含此节点上的资源信息与作业信息。 (2) 根据地震数据处理的特点和实际项目中的软硬件需求，在通用调度算法 基础上设计出了适合本系统的调度策略。为了方便调度算法的替换和降低服务器 对各种请求的响应时间，本系统将服务器对象管理进程和调度进程分开进行设计， 实现了多种作业调度算法，并考虑了系统间的负载均衡与资源预留策略。 (3) 为了保证系统持续、可靠地提供服务，减少由于集群中服务器或计算节 点故障而造成的损失，设计并实现了服务器的双机热备功能及节点的故障处理功 能，完成了服务器重要数据的备份与恢复工作和故障节点上未完成作业的转移。 本系统采用了客户端/服务器设计模型，客户端只需要同服务器进行通信，服 务器对整个集群资源进行统一管理。在驱动模式上采用了事件驱动模式，集群中 各节点的运行取决于所收到的事件消息，同时为了方便系统的升级，系统设计中 考虑了减少各模块间的耦合性。 关键词：集群； 资源管理； 作业调度； 灾难恢复；地震数据处理 I ABSTRACT ABSTRACT In recent years, people have become increasingly demanding computer processing of high performance, single server has been increasingly unable to meet the needs of users, and super-computers are very expensive, by contrast, cluster system has high performance-price ratio, high availability, and high expansibility characteristics, thus gradually become the mainstream of high performance computing. Cluster system is a group of computers which are interconnected through high-speed network, an