Hadoop集群作业调度算法优化技术研究.pdfVIP

Hadoop集群作业调度算法优化技术研究 单冬红，郭静博，赵伟艇 （河南平顶山学院软件学院，河南平顶山 467002 ） 【摘要】摘 要：针对当前云计算技术的广泛使用，提出对 Had p 集群作 业调度算法进行研究的构想。在对 Had p 新版本中提出的 Had p Map Reduce V2 （Yarn）框架进行深入研究的基础上，设计一个详细完整的对比实 验，针对各种作业调度算法的优势与不足进行全面的测试。通过使用不同的作 业调度算法运行相同的作业，进行细致横向的对比，并得到各种作业调度算法 之间以及计算框架之间在计算能力、运行时间、资源占用等方面的优