一种Hadoop Yarn的资源调度方法研究.pdfVIP

第５期 电　　子　　学　　报 Ｖｏｌ．４４　Ｎｏ．５ ２０１６年５月 ＡＣＴＡＥＬＥＣＴＲＯＮＩＣＡＳＩＮＩＣＡ Ｍａｙ　２０１６ 一种 ＨａｄｏｏｐＹａｒｎ的资源调度方法研究 １ １ ２ １ 李媛祯 ，杨　群 ，赖尚琦 ，李博涵 （１南京航空航天大学计算机科学与技术学院，江苏南京２１００１６；２香港大学计算机科学与技术系，香港） 　　摘　要：　针对ＨａｄｏｏｐＹａｒｎ资源调度问题，为提高集群作业执行效率，提出一种基于蚁群算法与粒子群算法的 自适应Ｈａｄｏｏｐ资源调度算法ＳＲＳＡＰＨ．ＳＲＳＡＰＨ中，通过ＨａｄｏｏｐＹａｒｎ跳通信机制获取负载、内存、ＣＰＵ速度等属性信 息初始化信息素矩阵；同时，将粒子群算法的自我认知能力与社会认知能力引入到蚁群算法，提高算法的收敛速度；此 外，根据蚁群算法全局最优解的波动趋势动态调整信息素挥发系数，提高解的精度．实验表明，采用ＳＲＳＡＰＨ进行资源 调度，集群的作业执行时间缩短至少１０％． 关键词：　资源调度；蚁群算法；粒子群算法；ＨａｄｏｏｐＹａｒｎ 中图分类号：　ＴＰ３０１６　　　文献标识码：　Ａ　　　文章编号：　０３７２２１１２（２０１６）０５１０１７０８ 电子学报ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｅｊｏｕｒｎａｌ．ｏｒｇ．ｃｎ　 ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．０３７２２１１２．２０１６．０５．００２ ＡＳｔｕｄｙｏｎＳｃｈｅｄｕｌｉｎｇＭｅｔｈｏｄｏｆＨａｄｏｏｐＹａｒｎ １ １ ２ １ ＬＩＹｕａｎｚｈｅｎ，ＹＡＮＧＱｕｎ，ＬＡＩＳｈａｎｇｑｉ，ＬＩＢｏｈａｎ （１ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＣｏｌｌｅｇｅ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＡｅｒｏｎａｕｔｉｃｓａｎｄＡｓｔｒｏｎａｕｔｉｃｓ，Ｎａｎｊｉｎｇ，Ｊｉａｎｇｓｕ２１００１６，Ｃｈｉｎａ； ２ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＴｈｅＵｎｉｖｅｒｓｉｔｙｏｆＨｏｎｇＫｏｎｇ，ＨｏｎｇＫｏｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：　ＩｎｖｉｅｗｏｆｔｈｅｒｅｓｏｕｒｃｅｓｃｈｅｄｕｌｉｎｇｐｒｏｂｌｅｍｏｆＨａｄｏｏｐＹａｒｎ，ｔｏｉｍｐｒｏｖｅｔｈｅｅｘｅｃｕｔｉｏｎｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅ ｃｌｕｓｔｅｒｊｏｂ，ｗｅｐｒｏｐｏｓｅａＳｅｌｆａｄａｐｔＲｅｓｏｕｒｃｅＳｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎＡｎｔＣｏｌｏｎｙＡｌｇｏｒｉｔｈｍａｎｄＰａｒｔｉｃｌｅＳｗａｒｍＡｌ ｇｏｒｉｔｈｍｉｎＨａｄｏｏｐ（ＳＲＳＡＰＨ）．ＩｎＳＲＳＡＰＨ，ｗｅｉｎｉｔｉａｌｉｚｅｔｈｅｐｈｅｒｏｍｏｎｅｍａｔｒｉｘｏｆＳＲＳＡＰＨｂｙｕｓｉｎｇｔｈｅａｔｔｒｉｂｕｔｅｉｎｆｏｒｍａ ｔｉｏｎｏｆｌｏａｄ，ｍｅｍｏｒｙ，ａｎｄＣＰＵｓｐｅｅｄｏｂｔａｉｎｅｄｔｈｒｏｕｇｈｔｈｅｈｅａｒｔｂｅａｔｍｅｓｓａｇｅｔｒａｎｓｆｅｒｍｅｃｈａｎｉｓｍ．Ｍｅａｎｗｈｉｌｅ，ｗｅｉｎｔｒｏｄｕｃｅ ｔｈｅｓｅｌｆｃｏｇｎｉｔｉｖｅａｂｉｌｉｔｙａｎｄｓｏｃｉａｌｃｏｇｎｉｔｉｏｎａｂｉｌｉｔｙｏｆｐａｒｔｉｃｌｅｓｗａｒｍａｌｇｏｒｉｔｈｍｉｎｔｏｔｈｅａｎｔｃｏｌｏｎｙａｌｇｏｒｉｔｈｍｔｏｓｐｅｅｄｕｐｔｈｅ ｒａｔｅｏｆｃｏｎｖｅｒｇｅｎｃｅｏｆｔｈｅａｌｇｏｒｉｔｈｍ．Ｍｏｒｅｏｖｅｒ，ｗｅｄｙｎａｍｉｃａｌｌｙａｄｊｕｓｔｔｈｅｐｈｅｒｏｍｏｎｅｅｖａｐｏｒａｔｉｏｎｒａｔｅｂａｓｅｄｏｎｔｈｅｆｌｕｃｔｕａ ｔｉｏｎｔｒｅｎｄｓｏｆｇｌｏｂａｌｏｐｔｉｍａｌｓｏｌｕｔｉｏｎｔｏｅｎｈａｎｃｅｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅｓｏｌｕｔｉｏｎｓ．Ｅｘｐｅｒｉｍｅ