基于绿色云计算能耗优化与资源分配研究.docVIP

基于绿色云计算能耗优化与资源分配研究 　　摘要：任务调度和资源分配是云计算的两大关键技术，资源分配决定着资源使用规则，关系到云计算的执行效率和并发处理能力。针对绿色云计算中的资源管理与调度过程，在Map Reduce调度模型基础上，设计一种并行Map Reduce资源分配算法。实验结果表明，该算法在能耗优化和执行时间方面都优于Map Reduce算法。 　　关键词：绿色云计算； 能耗优化；动态资源分配 　　DOIDOI：10.11907/rjdk.161149 　　中图分类号：TP303 　　文献标识码：A 文章编号：1672-7800（2016）005-0007-03 　　0 引言 　　近年来，物联网、车联网、云计算、大数据、量子通信、深度学习等新技术层出不穷[1]。据权威杂志统计，数据中心的能耗成本已经占到运营成本的50%[2]。云计算数据中心设施具有高弹性和虚拟化等特征。数据中心能量消耗严重，已经成为影响云计算技术大面积推广的主要障碍和难题[3]。通过应用云计算虚拟化技术，可以极大降低主要设备能耗[4]。 　　云计算平台是一种基于云计算基础设施和并行架构、通过互联网部署的、以服务形式交付的IT资源池[5-6]。云计算用户可以在任何时间、任何地点，随时随地按需获取计算、存储、软件、应用、网络等各种IT资源。 　　1 云计算基本特征及应用 　　云计算是在网格计算技术的基础上逐渐发展起来的，在全球范围内已经得到广泛应用。云计算是大数据在21世纪的典型应用，其以IT资源交付、共享为核心，是一种IT资源配置、交付和管理模式的创新，其资源的汇聚、交付、共享、管理都是基于云计算平台展开[7]。 云计算技术是以服务为导向的商业模式创新，以服务模式创新为核心理念和发展模式。 　　云计算若按照行业应用分类可以归纳为：教育云、医疗云、金融云、工业云、政务云等[8]。教育云是指在教育领域，以云计算技术为依托，在现代远程网络教育的基础上，通过构建区级/县级数据中心，而构建起来的一种新型泛在学习模式。教育云通过有效整合软硬件教育资源，对教师的教学能力和学生的学习方式都是一个巨大的变革。医疗云是在医疗护理领域采用云计算相关技术和服务理念构建医疗保健服务系统。政务云是云计算在政府门户网站建设、政务领域应用的系统建设 [9]。金融云是指利用云计算技术将金融机构的数据中心与客户端应用整合到云计算体系架构之中，达到降低运营成本的目的[10-11]。 　　2 能耗优化与资源分配 　　云计算的对象规模大，资源与用户需求各异，且数量巨大，所以系统每时每刻都要处理海量数据，任务调度和资源分配是云计算的重点和难点，更是云服务质量高低的重要影响因素。云计算中的资源分配和调度是云计算研究的关键问题之一。 　　云计算资源调度通常根据一定的资源使用规则，在不同资源使用者之间进行资源调度和任务分配。目前，资源调度策略大多数通过虚拟机级别上的调度技术结合一定的调度策略为虚拟机内部应用作资源调度。由于这些调度算法的时间复杂度和空间复杂度比较高，导致算法运行效率比较低，算法整体性能不理想。传统资源分配方法大都采用预分配的静态资源调度算法，这种算法已经不适应云计算资源的异构性、动态性等特征，而且资源负载能力是动态变化的。国内外云计算资源分配领域研究主要集中在启发式仿生算法、负载均衡机制与时间跨度最小化原则、能耗最小化与能耗均匀化管理等方面。图1为 Map Reduce 调度模型。 　　（1）Job Tracker 两个主要的功能分离成单独的组件，分别用来进行资源管理和任务调度/监控。 　　（2）资源管理器将系统调度过程中的所有资源进行全局管理，并对所有资源进行分配，每一个应用的 Application Master 主要负责相应的资源调度和协调等基本工作。一个应用程序是一个单独的传统的 MapReduce 任务或者是一个 DAG（有向无环图）任务。 　　（3）每一个应用的 Application Master 是一个详细的框架库，它结合从 Resource Manager 获得的资源和 Node Manager 协同工作来运行和监控任务。 　　（4）Resource Manager 支持分层级的应用队列，这些队列集群一定比例的资源，根据资源的计算能力和动态负载能力分配适量的计算任务到该节点上，分配结束后将自动从任务等待队列中删除任务。同样，它不能重启因应用失败或者硬件错误而运行失败的任务。Resource Manager 是基于应用程序对资源需求进行调度，每一个应用程序需要不同类型的资源，因此需要不同的容器。 　　3 实验测试与结果分析 　　针对绿色云计算中资源管理与调度过程，在Map Reduce 调度模型基础上，本文设计了一种并行Map R