基于自动机器学习的云平台动态资源调度研究.docxVIP

基于自动机器学习的云平台动态资源调度研究 唐涌涛 段永强 黄捷 苏荣 福文剑 摘 要云计算资源管理是指将存储、网络带宽以及其他资源分配给一组应用程序的操作。由于资源管理过程中会受到服务水平协议的约束，因此本文对云平台的性能和资源的利用率进行了研究，提出了一种自动机器学习的新算法，该算法可根据用户需求的动态资源对物理主机的状态进行预测，提高物理主机利用率、减少虚拟机迁移次数，减少数据中心能耗。 关键词云计算;资源管理;自动机器学习;虚拟机迁移 0 引言 互联网环境下，云计算技术可以为用户提供水、电、气以及电话等计算服务。使用云服务技术，用户可以随时随地获取自身所需的服务，并根据使用情况支付一定的费用[1-5]。一般来说，云计算架构由基础架构及服务、平台及服务和软件及服务组成[6-7]。其中，基础架构设施层主要包括硬件基础架构，例如存储、网络组件、服务器、CPU等，平台及服务层主要包括计算框架和解决方案，例如服务过程管理、软件开发工具等，软件及服务层则是将云计算服务封装成各类软件并提供给用户。 然而，随着数据中心规模的不断扩大以及数据中心本身的异构性，云计算中的资源管理问题也愈发严峻。尽管逐渐兴起的虚拟化技术允许用户可以在通用的基础架构上同时运行多个应用程序，在此之中的资源分配算法可分为基于阈值和人工智能两大类。阈值检测方法是指阈值被违法则重新分配资源，尽管此类方法较为简单，但却不能长期使用运行;人工智能检测方法则是通过较长时间的学习获得相关机器的经验，从而为机器分配最合适的资源。除此之外，由于物理主机（physical machine， PM）的资源是一定的，这样一对多的映射关系必定导致虚拟机多次迁移，从而破坏云平台性能，当突然增加或者减少正在运行程序的工作流时，此时资源分配算法是进行高效分配资源的最佳解决方案。对于能耗管理，从技术上可分为静态和动态两种，静态技术主要是在设计时执行优化操作，动态技术则是在云平台运行过程中根据当前的资源需求和动态系统规范来调整系统行为，其中，DVFS是能耗管理技术中最重要的动态方法之一，其主要通过更改处理器的电压电平和频率来降低动态能耗[3]。 本文基于对云平台性能和能耗的考虑，设计了一种基于自动机器学习的节能动态调度方案，主要使用机器学习获得机器的负载规律从而动态调整资源分配，减少虚拟机迁移次数，达到降低平台能耗的目的。 1 自动机器学习技术 自动机器学习是在强化学习框架中运行的一种随机模型，其目的在于从一组行为中确定最佳行为。自动机器学习过程可以视作有限数量对象的抽取过程，如图1所示其从一组有限的行为中选择一个行为，并将其应用于环境，环境评估施加行为后的状态，然后向自动学习机发送强化信号。环境反馈的增强信号用于更新自动学习机的内部逻辑关系，通过长时间的持续学习，自动学习机逐渐学习选择最佳的行为，从而得到環境的积极响应[8]。 2 系统方案 2.1 方案模型 本文采取的系统模型是拥有n台PM的大型云计算环境，每个PM都有相应的CPU、网络带宽和随机存储，具体模型图如图2所示。 云平台的服务质量（quality of service， QOS）通常用服务等级协议（Service-Level Agreement， SLA）表示，一般来说，违反SLA的度量标准包括过载时间比例（Overload Time Fraction， OTF）和迁移退化指数（Performance Degradation Due to Migration， PDM ）[4]，这两种性能指标可以用式（4）表示。 尽管OTF和PDM度量标准都独立地表征了云平台中违反SLA的等级，但是Beloglazov[2]也提出了一种同时表征PM超载和VM迁移导致的性能下降，称为SLA违规，计算方式如式（5）所示。 2.2 调度算法 基于PM负载的动态性和VM需求资源的不确定性，本文提出了一种自动机器学习动态资源调度方案。在此方案中，主要通过对CPU使用的历史状态作为机器学习的样本，从而得到较好的PM异常状态监测，自动机器学习的流程如图3所示。 此流程中，虚拟机行为可分为三大类：提高CPU利用率，记做ASC;降低CPU利用率，记做DESC;不改变CPU利用率，记做NONE。对于如何确定PM是否超载，我们采用如图4所示流程。 当物理主机的状态发生变化，虚拟机上的自动机器学习的策略也需要发生变化，具体流程如图5所示。 3 测试结果与分析 3.1 测试环境 为验证算法的有效性，本文在CloudSim模拟测试平台上将本文提出的方案与近期的能源意识分配方案[2-3]进行了比较。在此测试平台