MapReduce下基于Deadline作业调度的研究的开题报告.docxVIP

MapReduce下基于Deadline作业调度的研究的开题报告

一、选题背景和意义：

云计算平台作为计算机科学领域中的一个热门课题，已在各种应用中广泛运用。MapReduce作为云计算领域的一种典型编程和计算模式，在高容错性，高容错性和较低的计算资源成本等方面拥有较大的优势。

然而，MapReduce系统资源调度问题始终是制约其应用效果的一个重要因素。在现实应用中，许多应用的计算任务必须在一定的时间内完成，如实时计算、在线高性能服务等。在这种情况下，不同的任务优先级和任务完成截止时间的预设成为了调度器必须解决的问题。

因此，如何在保证系统资源高效利用的基础上，满足不同任务的截止时间和优先级需求，就成为了一个重要而复杂的研究问题。

综上所述，本文将结合实时计算任务调度的特点，研究基于Deadline的作业调度机制，以期提高MapReduce系统的应用效率。

二、国内外研究现状：

目前，国内外学者已在Deadline的任务调度机制上做了一些有价值的研究：

2009年，FelipeAraujo等人针对数据平台作业系统中Deadline的特点，提出了基于组的设计思路，将同一个业务的任务归为一个组，并指定一个截止时间，以完成整个业务需求为目标。此外，他们还提出了一种新的调度方法，其中包括分配任务给组以及在完成业务需求时平衡task-leveldeadines和group-leveldeadlines的调度机制；

2014年，学者Jiangwei等人和Iijima等人分别研究了基于Deadline的数据集群调度问题，提出了基于一个假设和数值分析的解决方案，以实现Job的加速和系统吞吐量的提高；

2016年，学者H.Chen和P.Liu在他们的论文中提出了一种Deadline，以实现高处理延迟环境中的工作负载。其中他们考虑了员工时间、任务开销、和部分任务突然的到达等因素。

以上研究表明，在Deadline任务调度机制中最主要的难点是如何通过资源分配来满足任务要求的Deadline。因此，一个合理的资源分配算法会是关键和体现系统综合性能的表现。

三、研究内容与意义：

3.1研究内容：

本文将挖掘MapReduce系统在Deadline任务调度机制下的性能瓶颈，通过设计有效的资源分配机制，以满足系统任务的Deadline需求。为此，本文将围绕以下几个方向进行深入研究：

1.分析少量任务调度和多任务并发调度两种场景下的MapReduce性能表现；

2.对MapReduce架构进行分析和改进，以降低调度开销；

3.设计并实现一种基于Deadline作业调度机制的新算法，以满足MapReduce应用的不同要求；

4.在云计算平台上进行综合实验，以验证所提出算法的有效性。

3.2研究意义：

本文所研究的基于Deadline的MapReduce任务调度机制，在实时计算任务处理方面具有重要应用场景，如在线媒体处理、金融计算、物流预测等。目前，在各种应用中都离不开MapReduce处理模式，以实现数据处理和分析的快速执行。如何合理地利用MapReduce系统资源，完成重要任务在规定时间内完成，将对实时计算和大数据分析的质量和效率产生重要影响。

本文的研究结果，将具有非常重要的学术价值和实际应用意义，预期能推动MapReduce任务调度机制研究和应用的发展。

四、研究方法：

本论文将采用如下研究方法：

1.收集和分析现有MapReduce系统资源调度瓶颈和劣化原因；

2.对MapReduce架构进行深入分析，并开发出优化和改进的方法；

3.设计基于Deadline的MapReduce任务调度优化算法；

4.在实际系统环境中进行大规模实验验证。

五、研究计划及进度安排：

1.前期准备阶段：对MapReduce架构进行分析和调研，找出现有调度算法的优势和不足并制定研究计划（一个月）；

2.算法设计和实现阶段：提出和实现基于Deadline的MapReduce调度算法，并比较不同场景下的性能表现（三个月）；

3.实验验证及性能测试阶段：将实现的MapReduce任务调度优化算法到实际系统上进行大规模实验，以评价其性能表现（三个月）；

4.论文撰写和修改阶段：撰写论文，并结合实验结果进行修改和完善，最后撰写出一份具有价值的复合论文（一个月）。

总之，本研究计划预期用时八个月，以上计划仅为初步安排，如进度推迟或提前，将进行相应的调整。