多租户集群中基于服务水平目标调度机制.docVIP

多租户集群中基于服务水平目标调度机制 　　摘要：针对多租户集群中无法保证作业服务水平目标（SLO）的问题，提出了一种多租户场景下基于SLO的调度机制，其中包括优先调度算法和资源抢占算法。优先调度算法区别考虑超额使用资源的租户和未超额使用资源的租户，赋予后者的作业更高的优先级，在此前提下选择紧急度最高的作业，优先为其分配资源；资源抢占算法在资源受限的情况下，选择紧急度超过阈值的作业实施资源抢占，并根据租户的资源使用情况，在相应的运行作业范围内选择紧急度最低的作业，抢占其资源。实验结果表明，与现有保证公平的多租户调度器Capacity Scheduler相比，该调度机制可以在兼顾作业执行效率和租户间公平的前提下，显著提高作业的截止时间保证率，从而保证业务的服务水平目标。 　　关键词：云计算；多租户；服务水平目标；集群调度；公平 　　中图分类号：TP393 　　文献标志码：A 　　Abstract：A scheduling mechanism based on Service Level Objective （SLO） in multitenant cluster， including a preference scheduling algorithm and a resource preemption algorithm， was proposed to solve the problem of the inability to guarantee the SLOs of jobs in multitenant clusters. The preference scheduling algorithm considered the users who overused resources above their quota and the users who did not， then assigned a higher priority to the jobs of the latter users， under this condition， the job with highest priority was preferentially allocated resources. 　　When the resources was limited， the resource preemption algorithm preempted the resource for the jobs whose urgency was above the threshold， and chose the jobs with the lowest urgency in the corresponding range of the running jobs according to the resource usages of tenants.The experimental results show that， compared with the current multitenant scheduler named Capacity Scheduler， the proposed mechanism can significantly improve the deadline guarantee rate of jobs and SLO with guaranteeing the job execution efficiency and the equity among tenants at the same time. 　　英文关键词Key words：cloud computing； multitenant； Service Level Objective （SLO）； cluster scheduling； fairness 　　0 引言 　　近年来，为了处理大规模数据，出现了多种面向数据处理的专用计算框架，例如离线计算框架MapReduce[1]、内存计算框架Spark[2]、流式计算框架Storm[3]等，这些计算框架被广泛地应用到各种组织和商业公司的生产环境之中。 　　随着数据处理技术自身的不断发展与普及，在同一集群上使用资源的用户数量也在不断增加。在实践中，共享资源已经成为一种在数据处理集群中广泛应用的技术趋势。多租户技术允许多个租户共享集群资源，不同租户可以混合部署、错峰使用集群，提高资源利用率，进而取得更好的经济效益[4]。围绕多租户问题，学术界和工业界的科研人员进行了较为充分的研究，提出了一些动态分配资源的调度机制，可以较好地兼顾公平和高资源利用率，取得了良好的实用效果[5]。 　　另一方面，很多数