YarnPlus基于Yarn的异构任务资源共享框架.pdfVIP

YarnPlus: 基于 Yarn 的异构任务资源共享框架 YarnPlus：基于 Yarn 的异构任务资源共享框架 王文峰，胡春明, 沃天宇，杨任宇* （北京航空航天大学计算机学院，北京，100191） Email: {wangwf, hucm, woty, yangry}@ 摘 要：在数据中心和运行大规模数据处理计算的云环境中有效的资源管理不仅可以提 高作业的运行性能还能够提高集群资源利用率。随着不同计算框架与相应负载的出现，高效 地资源共享方案可以使得不同负载任务共享同一集群来提升集群的利用率和效率。针对不同 任务共享集群的需求，本文从 Hadoop MapReduce job与虚拟机两类典型的数据中心任务出 发，设计了多任务共享资源的解决方案，利用新一代 Hadoop Mapreduce框架 Yarn资源分派 与任务调度解耦和的特性，对其扩展支持虚拟机生命周期的管理，扩展后的 Yarn 框架 YarnPlus可以根据全局资源的使用与请求情况在不同任务间动态分派资源，避免了资源冲突 与竞争，保证了任务的资源需求。实验表明扩展后的 Yarn 系统 YarnPlus 在管理虚拟机和 Hadoop Job 两类任务时，不仅能保证 VM 服务的性能，同时跟未统一考虑全局资源与任务 分派情况相比，缩短了 MapReduce job的执行时间，提升了数据处理