Flink-Streaming大规模生产实践.pptxVIP

FlinkStreaming大规模生产实践技术创新变革未来

FlinkStreaming在滴滴的实践123FlinkStreaming展望与规划FlinkStreaming平台化目录Agenda

01 FlinkStreaming平台化

引入FlinkStreaming背景滴滴存在丰富的实时数据以及应用场景大数据方面业务对实时的要求越来越高公司内的很多storm/Jstorm小集群，亟待升级与整合

降低使用FlinkStreaming服务的门槛整合公司内的小集群，降低运维成本，提升机器利用率提升服务的稳定性与问题定位的效率FlinkStreaming平台化

实时计算平台HDFSESDruidYarnFlinkStreaming应用管控WebIDESQL(建设中)诊断系统SparkStreaming

………Label-1Label-2Queue-3/Queue-4/…NO-LABELYarn计算资源管理稳定性要求高业务独占机器（基于Label机制）普通业务混布机器（基于CGroup机制）Queue-1 Queue-2

支持平台的Flink引擎主要改造支持HDFS的应用资源限制JobManager至多运行一个应用完善日志和指标基于应用DAG的情况进行计算资源的申请支持计算资源的缩扩(减少应用升级所费的时间)

应用管控HadoopYar