Flink框架与Spark Streaming对比分析.pdfVIP

1简单介绍一下Flink

Flink

是一个框架和分布式处理引擎，用于对有界和数据流进行有状态计算。同

时

Flink

还数据分布、容错机制以及管理等功能。Flink

了多种高抽象

层

API

以便用户编写分布式任务：

DataSet

API，对静态数据进行批处理操作，将静态数据抽象为分布式数据集，用户可

以便捷地使用

Flink

的各类操作符处理分布式数据集，支持

Java、Scala

和

Python。

DataStream

API，对数据流进行流处理操作，将流式数据抽象为分布式数据流，用

户可以方便地对分布式数据流进行各类操作，支持

Java

和

Scala。

Table

API，对结构化数据进行查询操作，将结构化数据抽象为关系表，并通过类

SQL

的

DSL

对关系表执行各类查询操作，支持

Java

和

Scala。

此外，Flink

还针对特定应用领域了领域库，例如：Flink

ML（Flink的机

器学习库）了机器学习流水线API并实现了多种机器学习算法；Gelly（Flink的图计

算库）则了图计算相关API及多种图算法实现。

2Flink相比传统的SparkStreaming区别？