采用资源划分的云环境下Hadoop资源许可调度方法.pdfVIP

第 49 卷第8 期 西安交通大学学报 Vol. 49 NO.8 2015 年 8 月 JOURNAL OF XI AN JIAOTONG UNIVERSITY Aug. 2015 DOI: 10. 7652/ xjtuxb201508012 采用资源划分的云环境下 Hadoop 资源许可调度方法 周墨颂1 ，朱正东2. 董小社I ，陈衡B ， 王寅峰Z O. 西安交通大学电子与信息工程学院， 710049. 西安; 2. 深圳信息职业技术学院软件学院. 518172. 广东深圳) 摘要:针对云计算环珑中 Hadoop 乎台由于节点计算能力差异、多样混合负载共存等原因而出现 的性能不佳的问题，提出一种采用资源划分的资源许可方法。该方法在云计算环境下通过减少资 源浪费或负载过重等情况的出现来提高系统性能. 该方法采集资源信息并椎测任务资源需求，根 据可用计算资源和任务需求动态划分、调皮资源;使用与资源元搞合的资源许可启动任务并控制任 务数量调节资源利用率以适应云环境。使用该方法对比公平调皮器在国家高性能计算中心(西安) 进行测试发现:单作业在资源竞争环境中优于公平调度嚣的静态结果;混合负栽在 3 种测试环境中 完成时间分别乎均减少了 27.5% 、 37.1%和 50.98% ，性能显著提升.实验结果表明，该方法可以 适应负载资源需求和可用计算资源的变化，灵活划分计算资源，解决 Hadoop 在云环珑中的性能不 住问题. 关键词:云计算;Hadoop; 资源划分;作~调度;混合负载 中国分类号: TP391 文献标志码:A 文章编号: 0253-987X(2015)08-0069-06 A Resource License Scheduling Method for Hadoop in Cloud Computing Using Resource Allocation ZH OU Mosong l , ZHU Zhengdong l , DONG Xiaoshel , C HEN Heng l , W ANG Yinfeng2 (1. School of Electronics and Information Engineering. Xian jiaotong University. Xian 710049. China; 2. Sch∞1 of Software. Shenzhen Institute of Information Technology. Shenzhen. Guangdong 518172. China) Abstract: A resource license scheduling method using resource allocation is proposed to improve the poor performance caused by different computing capacities of nodes and mixed workload in cloud computing. The method improves th e performance through reducing the resources wasting or overload. 1t collects resource information and estimates resource requirements of workloads and allocates computing resources dynamically according to available resources and resource