终于有人把Flink设计理念与基本架构讲明白了.docxVIP

终于有人把Flink设计理念与基本架构讲明白了 导读：本文从设计理念的角度将Flink 与主流计算引擎 Hadoop MapReduce和Spark进行对比，并从宏观上介绍Flink的基本架构。 01Flink与主流计算引擎对比 1. Hadoop MapReduce MapReduce 是由谷歌首次在论文“MapReduce: Simplified Data Processing on Large Clusters”（谷歌大数据三驾马车之一）中提出的，是一种处理和生成大数据的编程模型。Hadoop MapReduce借鉴了谷歌这篇论文的思想，将大的任务分拆成较小的任务后进行处理，因此拥有更好的扩展性。如图1所示，Hadoop MapReduce 包括两个阶段—Map和Reduce：Map 阶段将数据映射为键值对（key/value），map 函数在Hadoop 中用Mapper类表示；Reduce阶段使用shuffle后的键值对数据，并使用自身提供的算法对其进行处理，得到输出结果，reduce函数在Hadoop中用Reducer类表示。其中shuffle阶段对MapReduce模式开发人员透明。 图1　Hadoop MapReduce处理模型 Hadoop MR1 通过JobTracker进程来管理作业的调度和资源，TaskTracker进程负责作业的实际执行，通过Slot来划分