FLINKSPARK在实时流计算中的应.PDF

华为云EI 智能流计算：FLINK/SPARK在 实时流计算中的应⽤ 常见开源流计算框架 什么是流计算 Streaming now 2016.11.11 table 1970.01.01 now 2016.11.01 实时处理当下正在发⽣的流数据， 逐条进⾏⼤数据分析或算法运算。 流计算的印象： 1. 乱序 2. 内存计算 3. 流速不定，数据倾斜 4. long running ，永不结束 5. 基于消息事件的逐条处理 6. 可靠快照... ⼤数据计算：越实时越有价值 新技术的影响：加速度-颠覆 ⼈的耐⼼程度：加速度-降低 ⼤数据的增速：加速度-增⻓ ⼤数据是基础，计算产⽣增值 实时流计算：最⼤限度挖掘数据价值 适⽤场景： 实时推荐(商品/⼴告) 、实时监控⼤盘、打 ⻋、 ⾦融⻛控、异常检测、交通、物流、外卖、 ⻋联⽹、智慧城市... DATAFLOW编程模型 keyBy •infinite stream data •window ：分配／合并 •trigger and incremental processing /matei/courses/2015/6.S897/readings/google-dataflow.pdf /ideas/the-world-beyond-batch-streaming-101 /ideas/the-world-beyond-batch-streaming-102 我们的选择：FLINK + SPARK FLINK: 运⾏时概要 API或函数的调⽤链，由逻辑 Simple Runtime of Flink 上的算⼦表示，经过逻辑优 Source Source 化，调度到物理节点上执⾏。 1 2 1 2 算⼦启动顺序为：dataflow from 中最后⼀个节点先起，依次 parall:4 parall:4 向上启动；算⼦之间通过 resource manager 3 5 5.2 5.3 5.4 3 5 5.2 5.3 5.4 nett