自从阿里拿下 Flink 以后, 你还不懂 Flink 就 out 了.docxVIP

自从阿里拿下 Flink 以后, 你还不懂 Flink 就 out 了 2021-03-23 Apache Flink是一个面对分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运转时（Flink Runtime），供应支持流处理和批处理两品种型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，由于他们它们所供应的SLA是完全不相同的：流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理，所以在实现的时候通常是分别给出两套实现方法，或者通过一个独立的开源框架来实现其中每一种处理方案。例如，实现批处理的开源方案有MapReduce、Tez、Crunch、Spark，实现流处理的开源方案有Samza、Storm。 Flink在实现流处理和批处理时，与传统的一些方案完全不同，它从另一个视角看待流处理和批处理，将二者统一起来：Flink是完全支持流处理，也就是说作为流处理看待时输入数据流是无界的；批处理被作为一种特殊的流处理，只是它的输入数据流被定义为有界的。基于同一个Flink运转时（Flink Runtime），分别供应了流处理和批处理API，而这两种API也是实现上层面对流处理、批处理类型应用框架的基础。 基本特性 关于Flink所支持的特性，我这里只是通过分类的方式简约做一下梳理，涉及到具体的一些概念及其原理睬在后面的部分做具体说明。 流处理特性 1. 支持高吞吐、低延迟、高功能的流处理 2. 支持带有大事时间的窗口（Window）操作 3. 支持无形态计算的Exactly-once语义 4. 支持高度机警的窗口（Window）操作，支持基于time、count、session，以及data-driven的窗口操作 5. 支持具有Backpressure功能的持续流模型 6. 支持基于轻量级分布式快照（Snapshot）实现的容错 7. 一个运转时同时支持Batch on Streaming处理和Streaming处理 8. Flink在JVM内部实现了本人的内存管理 9. 支持迭代计算 10. 支持程序自动优化：避开特定情况下Shuffle、排序等昂贵操作，两头结果有必要进行缓存 API支持 1.对Streaming数据类应用，供应DataStream API 2. 对批处理类应用，供应DataSet API（支持Java/Scala） Libraries支持 1.支持机器学习（FlinkML） 2.支持图分析（Gelly） 3.支持关系数据处理（Table） 4.支持简单大事处理（CEP） 整合支持 支持Flink on YARN 支持HDFS 支持来自Kafka的输入数据 支持Apache HBase 支持Hadoop程序 支持Tachyon 支持ElasticSearch 支持RabbitMQ 支持Apache Storm 支持S3 支持XtreemFS 基本概念 Stream Transformation Operator 用户实现的Flink程序是由Stream和Transformation这两个基本构建块组成，其中Stream是一个两头结果数据，而Transformation是一个操作，它对一个或多个输入Stream进行计算处理，输出一个或多个结果Stream。当一个Flink程序被执行的时候，它会被映射为Streaming Dataflow。一个Streaming Dataflow是由一组Stream和Transformation Operator组成，它类似于一个DAG图，在启动的时候从一个或多个Source Operator开头，结束于一个或多个Sink Operator。 下面是一个由Flink程序映射为Streaming Dataflow的示意图，如下所示： 上图中，FlinkKafkaConsumer是一个Source Operator，map、keyBy、timeWindow、apply是Transformation Operator，RollingSink是一个Sink Operator。 Parallel Dataflow 在Flink中，程序天生是并行和分布式的：一个Stream可以被分成多个Stream分区（Stream Partitions），一个Operator可以被分成多个Operator Subtask，每一个Operator Subtask是在不同的线程中独立执行的。一个Operator的并行度，等于Operator Subtask的个数，一个Stream的并行度总是等于生成它的Operator的并行度。 有关Parallel Dataflow的实例，如下图所示： 上图Streami