集群资源统一管理和调度技术综述.pdfVIP

第 期 华东师范大学学报（自然科学版） ５ Ｎｏ．５ 　 　 年 月 （ ） ２０１４ ９ Ｓｅｔ．２０１４ ＪｏｕｒｎａｌｏｆＥａｓｔＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔ ＮａｔｕｒａｌＳｃｉｅｎｃｅ ｐ ｙ 文章编号： （ ） １０００５６４１２０１４０５００１７１４ 集群资源统一管理和调度技术综述 １ １ ２ 李永峰 ， 周敏奇 ， 胡华梁 　 　 （ 华东师范大学 软件学院，上海 ； 浙江理工大学 经济管理学院，杭州 ） １． ２０００６２ ２． ３１００１８ 　 　 摘要：随着互联网的快速发展和大数据的来临，基于数据密集型应用的集群计算框架不断涌 现，并且这些计算框架都只面向某一类特定领域的应用 基于这一特点，互联网公司往往需要部 ． 署和运行多个计算框架，从而为每个应用选择最优的计算框架 因此，资源统一管理和调度系统 ． 作为集群共享平台被提出来 集群资源统一管理和调度系统需要同时支持多种不同计算框架， ． 如何管理集群计算资源和不同计算框架间的资源公平分配成为关键技术难点 不同计算框架的 ． 作业是异构的，如何在不同框架间进行作业调度，以充分利用集群资源和提高系统吞吐量，成为 了新的挑战 本文针对现有的资源管理系统和应用需求特点，研究和分析了集群资源管理和调 ． 度的关键技术，并对现有的集群资源管理技术存在的问题和未来发展进行了探讨． 关键词：资源管理系统； 资源共享； 作业调度 　 　 中图分类号： 文献标识码： ： ／ ＴＰ３０３ Ａ 犇犗犐１０．３９６９ ．ｉｓｓｎ．１０００５６４１．２０１４．０５．００２ 　　 　　 ｊ 犛狌狉狏犲狅犳狉犲狊狅狌狉犮犲狌狀犻犳狅狉犿犿犪狀犪犲犿犲狀狋犪狀犱狊犮犺犲犱狌犾犻狀 犻狀犮犾狌狊狋犲狉 狔 犵 犵 １ １ ２ ， ，