分布式系统中节能的数据摆放和任务调度算法的研究-计算机技术专业论文.docx

万方数据 万方数据 Classified Index: TP315 U.D.C: 004.4 Dissertation for the Master Degree in Engineering THE RESEARCH OF ENERGY SAVING DATA PLACEMENT AND TASK SCHEDULING ALGORITHMS IN DISTRIBUTED SYSTEMS Candidate： Supervisor： Wang Fang Prof.Gao Hong Academic Degree Applied for： Master of Engineering Speciality： Computer Technology Affiliation： Date of Defence： School of Computer Science Technology June, 2014 and Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学硕士学位论文 哈尔滨工业大学硕士学位论文 摘 要 近些年随着网络与信息技术的与时俱进，越来越多的数据被采集使用，形 成了海量数据。存储并处理海量数据的需求也日益增长，数据中心无疑为人们 存储和处理该数据提供了一种行之有效的处理方法。有研究表明美国仅数据中 心的电力消耗已经占据总量的 1.5%，而且呈现快速增长的势态，因此研究数 据中心的节能变得愈发重要。本文主要针对数据中心的数据摆放和任务调度算 法进行研究，从节能的角度上考虑这些问题。 本文首先提出了假设的系统模型：在集群的存储节点上以批处理的方式进 行任务调度。之后文章针对两种节能需求，给出了两个节能调度问题：给定任 务完成的截止时间最小化开启节点数量问题和给定集群功率上限最小化调度时 间问题。对于这两种调度问题，本文证明了该问题是 NP 难问题，给出了相应 的近似算法。接着为了提升这两种调度算法性能，本文给出了数据备份策略和 数据摆放策略，分别针对上述两个问题进行优化。 文章的最后将本文提出的算法在 CloudSim 上进行模拟实验，实验证明截 止时间调度问题使用本文的数据摆放算法开启的节点数量平均减少 31.9%。限 制功率调度问题使用本文的数据摆放算法时，本文调度算法比已有算法节约 35.7%的运行时间。文章使用一台 PC 机模拟集群中每个节点的执行过程，使 用 PM1000+功率测量仪测量机器的功率，通过时间信息将功率合成为整个集 群的功率图，实验证明真实环境和模拟环境条件相差无几，因此本文所提出的 算法在真实环境下的表现依然优异。 关键词：节能；数据摆放；任务调度 I Abstract With the continuous development of information technology in recent years, more and more data is collected which forms the massive data. The demand of storing and processing the massive data is growing in the same way, data center is undoubtedly an effective and efficient way to handle this. A research indicates that the power consumed by American data centers occupies 1.5% of the power consumed by the whole nation, and it’s rising rapidly. So it is important to research how to save energy in data centers. This paper studied how to place data in nodes and how to schedule the tasks to achieve the energy conservation goals. In this paper we only focused on the task scheduling which on the storage nodes in batch case. Then we analyzed two different energy-saving requirements and defined two energy-saving task scheduling probl