实时流处理系统Storm的调度优化综述-计算机应用研究.PDFVIP

———————————————————————————————————————————————— 实时流处理系统Storm 的调度优化综述 作者 蔡宇，赵国锋，郭航 机构 重庆邮电大学 电子信息与网络研究院；重庆市光通信与网络高校重点实验室 基金项目 国家自然科学基金资助项目 预排期卷 《计算机应用研究》2018 年第35 卷第9 期 摘要 随着大数据技术的发展，相对于Hadoop 等传统的批处理系统，流式处理系统具有更好的实 时性特点。在已有的流式处理系统中，Storm 系统具有良好的稳定性、高可扩展性以及高容 错性等优点，使它在流式数据处理系统中脱颖而出。但是在任务调度方面，Storm 系统并没 有做过多的考虑，默认采用相对简单的轮询调度法，导致系统在性能上存在瓶颈。近年来针 对Storm 系统的调度问题，研究提出了各种优化方案。本文从实时流处理系统Storm 的调度 优化出发，将这些优化方法分为四类，并详细阐述各类中具有一定代表性的方法，分析其优 缺点以及适用的场景。最后，讨论了在日益发展的新环境下，Storm 系统的调度优化相关研 究未来可能存在的方向。 关键词 流式数据处理；Apache Storm ；性能优化；调度 作者简介 蔡宇（1992-），男，四川自贡人，硕士研究生，主要研究方向为流式数据处理；赵国锋（1972-）， 男（通信作者），陕西人，教授，博导，主要研究方向为互联网技术、网络测试与测量 （645656548@）；郭航（1991-），男，福建福州人，硕士研究生，主要研究方向为流 式数据处理． 中图分类号 TP391 访问地址 /article/02-2018-09-066.html 发布日期 2017 年10 月10 日 引用格式 蔡宇, 赵国锋, 郭航. 实时流处理系统 Storm 的调度优化综述[J/OL]. 2018, 35(9). [2017-10- 10]. /article/02-2018-09-066.html. 35 9 Vol. 35 No. 9 第 卷第 期 计算机应用研究 优先出版 Application Research of Computers Online Publication 实时流处理系统Storm 的调度优化综述 * 1 1, 2 1 蔡 宇 ，赵国锋 ，郭 航 (1. 重庆邮电大学 电子信息与网络研究院, 重庆 400065; 2. 重庆市光通信与网络高校重点实验室, 重庆 400065) 摘 要：随着大数据技术的发展，相对于Hadoop 等传统的批处理系统，流式处理系统具有更好的实时性特点。在已有 的流式处理系统中，Storm 系统具有良好的稳定性、高可扩展性以及高容错性等优点，使它在流式数据处理系统中脱 Storm 颖而出。但是在任务调度方面， 系统并没有做过多的考虑，默认采用相对简单的轮询调度法，导致系统在性能上 存在瓶颈。近年来针对Storm 系统的调度问题，研