Flink面试手册 核心概念和基础篇.docxVIP

Flink面试手册 - 核心概念和基础篇 支持高吞吐、低延迟、高功能的流处理 支持无形态计算的 Exactly-once 语义 支持带有大事时间的窗口?（Window）?操作 支持基于轻量级分布式快照（Snapshot）实现的容错 支持高度机警的窗口 （Window） 操作，支持基于 time、count、session 以及 data-driven 的窗口操作 支持具有?Backpressure?功能的持续流模型 支持迭代计算 一个运转时同时支持 Batch on Streaming 处理和 Streaming 处理 Flink?在?JVM?内部实现了本人的内存管理 支持程序自动优化：避开特定情况下 Shuffle、排序等昂贵操作，两头结果有必要进行缓存 一、 简约引见一下 Flink Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行无形态计算。并且 Flink 供应了数据分布、容错机制以及资源管理等核心功能。 Flink供应了诸多高笼统层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据笼统成分布式的数据集，用户可以便利地使用Flink供应的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。 DataStream API，对数据流进行流处理操作，将流式的数据笼统成分布式的数据流，用户可以便利地对分布式数据流进行各种操作，支持Java和Scala。 Table API，对结构化数据进行查询操作，将结构化数据笼统成关系表，并通过类SQL的DSL对关系表进行各种查询操作，支持Java和Scala。 此外，Flink 还针对特定的应用领域供应了领域库，例如：Flink ML，Flink 的机器学习库，供应了机器学习Pipelines API并实现了多种机器学习算法。Gelly，Flink 的图计算库，供应了图计算的相关API及多种图计算算法实现。 二、 Flink 相比传统的 Spark Streaming 有什么区分? 这个问题是一个格外宏观的问题，由于两个框架的不同点格外之多。但是在面试时有格外重要的一点肯定要回答出来：Flink 是标准的实时处理引擎，基于大事驱动。而 Spark Streaming 是微批（Micro-Batch）的模型。 下面我们就分几个方面引见两个框架的次要区分： 1. 架构模型 Spark Streaming 在运转时的次要角色包括：Master、Worker、Driver、Executor，Flink 在运转时次要包含：Jobmanager、Taskmanager和Slot。 2. 任务调度 Spark Streaming 连续不断的生成微小的数据批次，构建有向无环图DAG，Spark Streaming 会依次创建 DStreamGraph、JobGenerator、JobScheduler。 Flink 依据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给 JobManager进行处理，JobManager 会依据 JobGraph 生成 ExecutionGraph，ExecutionGraph 是 Flink 调度最核心的数据结构，JobManager 依据 ExecutionGraph 对 Job 进行调度。 3. 时间机制 Spark Streaming 支持的时间机制有限，只支持处理时间。Flink 支持了流处理程序在时间上的三个定义：处理时间、大事时间、注入时间。同时也支持?watermark机制来处理滞后数据。 4. 容错机制 对于 Spark Streaming 任务，我们可以设置 checkpoint，然后假如发生毛病并重启，我们可以从上次 checkpoint 之处恢复，但是这个行为只能使得数据不丢失，可能会反复处理，不能做到恰好一次处理语义。 Flink 则使用两阶段提交协议来处理这个问题。 三、 Flink 的组件栈有哪些？ 依据 Flink 官网描述，Flink 是一个分层架构的系统，每一层所包含的组件都供应了特定的笼统，用来服务于上层组件。 自下而上，每一层分别代表：Deploy 层：该层次要涉及了Flink的部署模式，在上图中我们可以看出，Flink 支持包括local、Standalone、Cluster、Cloud等多种部署模式。Runtime 层：Runtime层供应了支持 Flink 计算的核心实现，比如：支持分布式 Stream 处理、JobGraph到ExecutionGraph的映射、调度等等，为上层API层供应基础服务。API层：API 层次要实现了面对流（Stream）处理和批（Batch）处理API，其中面对流