基于深度增强学习的数据中心网络coflow调度机制-电子学报.PDF

第７期 电　　子　　学　　报 Ｖｏｌ．４６　Ｎｏ．７ ２０１８年７月 ＡＣＴＡＥＬＥＣＴＲＯＮＩＣＡＳＩＮＩＣＡ Ｊｕｌ．　２０１８ 基于深度增强学习的数据中心 网络ｃｏｆｌｏｗ调度机制 马　腾，胡宇翔，张校辉 （国家数字交换系统工程技术研究中心，河南郑州４５０００２） 　　摘　要：　最小化语义相关流的平均完成时间是数据中心网络流量管理面临的难题之一．受人工智能领域深度增 强学习方向的最新研究进展启发，本文提出一种的新的语义相关流调度机制．将带宽约束的语义相关流调度问题转化 为连续的学习过程，通过学习以往策略实现最佳调度．引入反向填充和有限复用机制，保证系统的工作保持性和无饥 饿性．仿真结果表明，在不同的网络负载下，本文提出的调度机制均使得语义相关流的平均完成时间小于其他调度机 制，尤其是网络负载较大时，相比最先进的调度机制，性能提升约５０％． 关键词：　数据中心网络；语义相关流；流调度 中图分类号：　ＴＰ３９３　　　文献标识码：　Ａ　　　文章编号：　０３７２２１１２（２０１８）０７１６１７０８ 电子学报ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｅｊｏｕｒｎａｌ．ｏｒｇ．ｃｎ　 ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．０３７２２１１２．２０１８．０７．０１１ ＤｅｅｐＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇＢａｓｅｄＣｏｆｌｏｗ ＳｃｈｅｄｕｌｉｎｇｉｎＤａｔａＣｅｎｔｅｒＮｅｔｗｏｒｋｓ ＭＡＴｅｎｇ，ＨＵＹｕｘｉａｎｇ，ＺＨＡＮＧＸｉａｏｈｕｉ （ＮａｔｉｏｎａｌＤｉｇｉｔａｌＳｗｉｔｃｈｉｎｇＳｙｓｔｅｍＥｎｇｉｎｅｅｒｉｎｇ＆ＴｅｃｈｎｏｌｏｇｙＲｅｓｅａｒｃｈＣｅｎｔｅｒ，Ｚｈｅｎｇｚｈｏｕ，Ｈｅｎａｎ４５０００２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：　Ｃｏｆｌｏｗｃｏｍｐｌｅｔｉｏｎｔｉｍｅｍｉｎｉｍｉｚａｔｉｏｎｉｓｏｎｅｏｆｔｈｅｃｈａｌｌｅｎｇｅｓｏｆｔｒａｆｆｉｃｍａｎａｇｅｍｅｎｔｉｎｄａｔａｃｅｎｔｅｒｎｅｔ ｗｏｒｋｓ．Ｉｎｓｐｉｒｅｄｂｙｔｈｅｎｅｗｅｓｔｒｅｓｅａｒｃｈｐｒｏｇｒｅｓｓｉｎｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ，ｗｈｉｃｈｉｓｏｎｅｄｉｒｅｃｔｉｏｎｏｆａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉ ｇｅｎｃｅ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｎｏｖｅｌｃｏｆｌｏｗｓｃｈｅｄｕｌｉｎｇｍｅｃｈａｎｉｓｍ．Ｉｔｔｒａｎｓｌａｔｅｓｔｈｅｃｏｆｌｏｗｓｃｈｅｄｕｌｉｎｇｐｒｏｂｌｅｍｗｉｔｈｂａｎｄｗｉｄｔｈ ｃｏｎｓｔｒａｉｎｔｉｎｔｏａｃｏｎｔｉｎｕｏｕｓｌｅａｒｎｉｎｇｐｒｏｃｅｓｓ．Ｂｙｌｅａｒｎｉｎｇｔｈｅｐｒｅｖｉｏｕｓｄｅｃｉｓｉｏｎｓ，ｔｈｅｂｅｓｔｓｃｈｅｄｕｌｉｎｇｉｓｏｂｔａｉｎｅｄ．Ｂｙｉｎｔｒｏｄｕ ｃｉｎｇｂａｃｋｆｉｌｌｉｎｇａｎｄｌｉｍｉｔｅｄｍｕｌｔｉｐｌｅｘｉｎｇｍｅｃｈａｎｉｓｍｓ，ｔｈｅｓｙｓｔｅｍｉｓｗｏｒｋｃｏｎｓｅｒｖｉｎｇａｎｄｓｔａｒｖａｔｉｏｎｆｒｅｅ．Ｓｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓ ｓｈｏｗｔｈａｔ，ｕｎｄｅｒｄｉｆｆｅｒｅｎｔｎｅｔｗｏｒｋｌｏａｄ，ｃｏｍｐａｒｅｄｗｉｔｈｏｔｈｅｒｓｃｈｅｄｕｌｉｎｇｍｅｃｈａｎｉｓｍｓ，ｔｈｅａｖｅｒａｇｅｃｏｆｌｏｗｃｏｍｐｌｅｔｉｏｎｔｉｍｅｉｓ ｒｅｄｕｃｅｄ．Ｅｓｐｅｃｉａｌｌｙｗｈｅｎｔｈｅｎｅｔｗｏｒｋｌｏａｄｉｓｈｅａｖｙ，ｔｈｅｐｒｏｐｏｓｅｄｍｅｃｈａｎｉｓｍａｃｈｉｅｖｅｓａｂｏｕｔ５０％ｐｅｒｆｏｒｍａｎｃｅｉｍｐｒｏｖｅｍｅｎｔ ｔｈａｎｔｈｅｓｔａｔｅｏｆｔｈｅａｒｔｓｃｈｅｄｕｌｉｎｇｍｅｃｈａｎｉｓｍ． Ｋｅｙｗｏｒｄｓ：　ｄａｔａｃｅｎｔｅｒｎｅｔｗｏｒｋ；ｃｏｆｌｏｗ；ｆｌｏｗｓｃｈｅｄｕｌｉｎｇ