分布式计算框架Antnest的任务调度设计与实现-计算机技术专业论文.docx

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□ ，在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 华 中 华 中 科 技 大 学 硕 士 学 位 论 文 I I 摘 要 近年来随着计算机网络技术的高速发展，互联网企业为用户提供的应用和个性 化服务也越来越多，随之而来的是用户提交的海量数据，企业必须及时而又正确地 处理这些数据并向用户反馈结果。通常，人们会选择使用分布式计算系统来完成这 些复杂的任务。然而传统的分布式计算平台往往需要配置大型的服务器集群，还需 要专门的技术人员去跟进和维护，这给很多企业都带来了巨大的经济开销。 轻量级分布式任务计算框架 Antnest 采用了客户机/服务器计算模式和三层体系 结构，可以将工作任务分布在廉价的任务节点上，中心节点负责整个系统的调度工 作，任务节点采用多 JVM 多线程执行任务。在 Antnest 中，提交的任务都是经过定 制的，不同的任务对实时性的要求各不相同，针对此，Antnest 为任务调度系统设计 了一种多级队列抢占式调度算法，该算法充分考虑到任务对实时性的要求，高优先 级任务可以抢占系统，被抢占任务会移入高优先级队列中等待调度，同时利用任务 的预定启动时间来确保任务执行的有效性。另外，Antnest 还设计了动态任务分配算 法来完成子任务的分配工作。在动态分配算法中，子任务和任务节点的分配关系是 在任务的执行过程中动态确定的，Antnest 会优先将子任务分配给最先执行完子任务 的任务节点。在任务调度系统的实现中，任务调度系统各模块间通过自定义的通信 协议完成消息通信，通过指定的任务接口触发任务逻辑，利用任务节点的状态管理 机制完成资源管理并保证 Antnest 的可扩展性，同时，利用心跳检测和子任务重传的 容错机制确保任务的正确执行。 测试结果表明，Antnest 系统能有效地提高任务的执行效率，减短执行时间；同 时，结果也验证了 Antnest 系统中多级队列抢占式调度算法的合理性和可行性。 关键字：分布式，计算框架，任务调度，抢占式 II II Abstract With the rapid development of computer network technology in recent years, Internet companies provide users with more and more applications and personalized service, followed by mass data submited by users. Enterprises must process the data promptly and correctly so as to feedback results to users. Usually people would like to a distributed computing system to accomplish these complex tasks. However, traditional distributed computing platforms often not only need to be configured with large-scale server clusters, but also require professional technical staff to follow up and keep maintenance, that is a big cost for many companies. The lightweight distributed computing framework Antnest adopts client/server computing model and three-tier architecture. Antnest