调度算法在云计算资源分配中的应用研究.pdfVIP

摘 要 摘 要 云计算是一种商业化计算模型，能够将超大规模计算和海量存储能力通过网络提 供给用户，就像水、电和煤气一样，取用方便，费用低廉。如何将云计算的资源合理 有效地分配给用户，减少作业执行时间和提高资源利用率，是调度算法需要研究和解 决的问题。因此，对云计算调度算法进行研究具有非常重要的现实意义。本文对云计 算调度算法的研究背景和研究现状进行分析，指出当前云计算调度算法存在的不足， 并提出了相应的解决方法。 首先，对云计算调度算法的关键技术进行分析研究。本文对 Hadoop 系统及其关 键技术进行分析，加深对 HDFS 和 MapReduce 工作原理和执行过程的理解。深入分 析了调度算法和它实现的 目标，比较了经典调度算法的性能，并改进了一种启发式表 调度算法(Heuristic list scheduling，简称 HLS)来提高 Hadoop 集群资源利用率和作业 响应时间。 其次，通过对 Hadoop 系统的特点和不足进行分析，设计了一种基于任务预分配 的表调度算法(List Scheduling based Task Preassigned，简称 LSTP)来解决云计算资源 分配问题。本文使用概率论知识对 Hadoop 日志信息进行分析，评估并获得每个节点 执行速度和节点间通信速率。根据 DAG 调度和 MapReduce 任务分配模型，设计出 LSTP 算法调度模型并确定 Map 和 Reduce 任务的优先级。然后，改进一种最早开始 时间搜索算法为每个任务找到最佳的工作节点并将该任务映射到该工作节点。为每个 工作节点设计一个预分配任务槽来扩大系统的吞吐量和实现任务的优化调整，解决任 务预分配时产生的分配不均或者 “热点”问题，并对 LSTP 算法的时间复杂度进行分 析。 最后，在实验室搭建异构 Hadoop 集群并在该集群上对 LSTP 算法进行了验证。 分别在配置有 FIFO 、HLS 和 LSTP 算法的异构 Hadoop 集群上运行经典的基准程序 WordCount、Sort 和 TeraSort 来对作业响应时间进行分析。实验验证了 LSTP 算法在 响应时间和系统资源利用率上明显优于FIFO 和 HLS 算法。 关键词：云计算；资源分配；任务调度；Hadoop ；启发式表调度． – I – 万方数据 Abstract Abstract Cloud Computing is a commercial computing model, which can offer large scale computing and storage capacity for the user through networks, and it is convenient and inexpensive to use as water electricity and gas. How to effectively allocate the resource of Cloud Computing for the user, reduce the execution time and improve resource utilization rate are problems for the schedule algorithm which is needed to resolve and study. Research on cloud computing scheduling algorithm has very im