采用资源划分的云环境下Hadoop资源许可调度方法.pdfVIP

第 49卷 第 8期 西 安 交 通 大 学 学 报 Vo1．49 No．8 2015年 8月 J0URNALOFXI’AN JIAOToNG UNIVERSITY Aug．2015 DOI：10．7652／xjtuxb2015O8O12 采用资源划分的云环境下 Hadoop资源许可调度方法 周墨颂 ，朱正东 ，董小社 ，陈衡 ，王寅峰 (1．西安交通大学电子与信息工程学院，710049，西安；2．深圳信息职业技术学院软件学院，518172，广东深圳) 摘要 ：针对云计算环境 中Hadoop平台由于节点计算能力差异、多样混合负载共存等原 因而 出现 的性能不佳的问题 ，提 出一种采用资源划分的资源许可方法。该方法在云计算环境下通过减少资 源浪费或负载过重等情况的出现来提高系统性能。该方法采集资源信息并推测任务资源需求，根 据可用计算资源和任务需求动态划分、调度资源；使用与资源无耦合的资源许可启动任务并控制任 务数量调节资源利用率以适应云环境 。使用该方法对比公平调度器在 国家高性能计算中心 (西安) 进行测试发现 ：单作业在资源竞争环境 中优于公平调度器的静态结果；混合 负载在 3种测试环境 中 完成时间分别平均减少了27．5％、37．1 和 50．98 ，性能显著提升。实验结果表 明，该方法可以 适应负载资源需求和可用计算资源的变化，灵活划分计算资源，解决 Hadoop在云环境中的性能不 佳 问题 。 关键词：云计算；Hadoop；资源划分；作业调度；混合 负载 中图分类号 ：TP391 文献标志码 ：A 文章编号 ：O253—987X(2O15)08—0069—06 A ResourceLicenseSchedulingM ethodforHadoop in CloudComputingUsingResourceAllocation ZHOU M osong ，ZHU Zhengdong ，DoNG Xiaoshe ，CHEN Heng ，W ANG Yinfeng (1．SchoolofElectronicsandInformationEngineering，Xi’anJiaotongUniversity，Xi’an710049，China； 2．SchoolofSoftware，ShenzhenInstituteofInformationTechnology，Shenzhen，Guangdong518172，China) Abstract：A resourcelicenseschedulingmethodusingresourceallocationisproposed toimprove thepoorperformancecausedbydifferentcomputingcapacitiesofnodesandmixedworkload in cloudcomputing．Themethodimprovestheperformancethrough reducing theresourceswasting oroverload．Itcollectsresourceinformation and estimatesresourcerequirementsofworkloads andallocates computing resourcesdynamically according to available resourcesand resource requirementsofworkloads．Licensesuncoupledwith resourcesareused to launch tasksandto adjustthenumberofparalleltaskstoadaptthecloudenvironmentbycontrollingthenumberof licenses．Themethodisevaluatedin thenationalhighperformanceco