Flink原理与实践-Flink的设计与运行原理.pdfVIP

第三章 Flink的设计与运行原理 相关概念 • 方法（Method ）：Java或Scala语言中的方法，有输入 参数和返回值。 • 函数（Function ）：Flink提供给开发者的接口 • flatMap()、keyBy()等 • 算子（Operator ）：在执行层面，算子对数据进行操作， 一般一到多个函数对应一个算子。 • Source、Transformation和Sink 数据流图 • 从代码到逻辑视图 • 逻辑视图中圆圈表示算子，箭头表示数据流 • 可以在Flink Web UI中查看一个作业的逻辑视图 • 大数据框架的算子对计算做了抽象，方便用户进行并行计算、横向扩展和故障恢复 逻辑视图 物理执行 • 分布式环境下并行化物理执行 • 数据流被切分到多个分区（Partition ） • 算子被切分为算子子任务（Operator Subtask ），又被称为算子实例 • 物理执行的基本单元 • 并行度（Parallelism ）：衡量并行切分的多少 数据交换策略 • 数据在不同算子子任务之间数据交换 • 常见四种数据交换策略： • 前向传播（Forwar ） • 按Key分组（Keyed-Base ） • 广播（Broadcast ） • 随机（Random ） 主从架构 l Master • 协调管理 • Dispatcher • ResourceManager • JobManager l TaskManager • 拥有CPU、内存等计算资源 • Flink作业被分发到多个TaskManager上并行执行 作业提交过程 l 启动一个Flink集群，TaskManager进程启动后会将自 己注册给Master ResourceManager l Client提交作业（Application ） l Master Dispatcher接收作业，启动JobManager l JobManager向ResourceManager申请资源， ResourceManager会将闲置资源分配给JobManager l 作业转化为物理执行图，计算任务分发部署到多个 TaskManager上 作业提交流程 Flink核心组件介绍 l Client l ResourceManager • Flink主目录下的 bin 目录中的命令行工具 • 统一处理资源分配上的问题 • 将用户作业转换为 JobGraph • 获取计算资源、分配给具体计算作业 l Dispatcher l TaskManager • 接收多个作业，为每个作业分配一个JobManager • 负责具体计算任务的执行 l JobManager • 提供一定量的任务槽位（Task Slot ，简称Slot ），Flink作 • 单个作业的协调者，每个作业有一个JobManager 业运行在这些Slot上 • 将JobGraph转化为物理执行图ExecutionGraph