流数据处理中负载突发感知的弹性资源分配-计算机学报.pdfVIP

第卷第期 ４１ １０ 　 　　　　　　　　 Ｖｏｌ．４１Ｎｏ．１０ 年月 ２０１８１０ ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｏｃｔ．２０１８ 　 流数据处理中负载突发感知的弹性资源分配 ） ），） ） ） １ １２ ３ １ 李丽娜 魏晓辉 李翔 王兴旺 　 　　　 ） １（ ） 吉林大学计算机科学与技术学院长春１３００１２ 　 　 ） ２（ ） 吉林大学符号计算与知识工程教育部重点实验室长春１３００１２ 　 　 ） ３（ ） 吉林大学高性能计算中心长春１３００１２ 　 　 ， ， 摘要在分布式并行数据流处理中面向实时变化且具有突发性的流数据负载固定的资源分配将造成资源浪 　　 ， ， ， 费或服务质量降低因此可伸缩的弹性资源分配是一个亟待解决的关键问题然而由于资源分配延迟和负载预 ． ， ， 测模型存在误差已有的弹性资源分配策略无法准确地提供与突发负载相匹配的资源且存在不必要的资源调整 ， ， 反复增加了系统开销该文主要解决弹性资源分配的调整延迟和调整颠簸问题针对上述问题主要的挑战在于 ． ． 突发负载的准确预测和节点间的协作 ， 、 ， 为此该文提出了一个上下游节点协同的弹性资源分配策略最优化数据 ． ， ， ， 质量和资源使用率兼顾考虑调整代价在该策略中基于数据负载关联模型和双向的控制机制下游节点能够实 《 ． ， ； ， 时感知和预测上游节点产生的突发负载和负载的变化趋势预先调整资源并避免调整颠簸同时上游节点能够