Flink应用场景34课件.pptxVIP

Flink应用场景

目录CATALOG01事件驱动型应用02数据分析应用03数据流水线应用

事件驱动型应用01

事件驱动型应用是一类具有状态的应用，它从一个或多个事件数据流中读取事件，并根据到来的事件做出反应，包括触发计算、状态更新或其他外部动作等。1.1什么是事件驱动型应用

图传统应用和事件驱动型应用架构的区别如图所示，在传统的设计中，通常都具有独立的计算和数据存储层，应用会从一个远程的事务数据库中读写数据。而事务驱动型应用是建立在有状态流处理应用的基础之上的。在这种设计中，数据和计算不是相互独立的层，而是放在一起的，应用只需访问本地（内存或磁盘）即可获取数据。系统容错性是通过定期向远程持久化存储写入检查点来实现的。1.1什么是事件驱动型应用

???实时反欺诈??流程监控??Web应用??规则报警??异常检测??物联网联动1.2典型的事件驱动型应用

1.3事件驱动型应用的优势事件驱动型应用都是访问本地数据，而无需查询远程的数据库，这样，无论是在吞吐量方面，还是在延迟方面，都可以获得更好的性能。向一个远程的持久化存储周期性地写入检查点，可以采用异步和增量的方式来实现。因此，检查点对于常规的事件处理的影响是很小的。在传统的分层架构中，多个应用共享相同的数据库，是一个很常见的现象。因此，数据库的任何变化，比如，由于一个应用的更新或服务的升级而导致的数据布局的变化，都需要谨慎协调。由于每个事件驱动型应用都只需要考虑自身的数据，对数据表示方式的改变或者应用的升级，都只需要很少的协调工作。

1.4Flink是如何支持事件驱动型应用的一个流处理器如何能够很好地处理时间和状态，决定了事件驱动型应用的局限性。Flink许多优秀的特性都是围绕这些方面进行设计的。01link提供了丰富的状态操作原语可以管理大量的数据（可以达到TB级别）02可以确保“精确一次”的一致性。03支持事件时间、高度可定制的窗口逻辑和细粒度的时间控制04帮助实现高级的商业逻辑

1.4Flink是如何支持事件驱动型应用的Flink还拥有一个复杂事件处理（CEP）类库，可以用来检测数据流中的模式。Flink中针对事件驱动应用的突出特性当属“保存点”（savepoint）。保存点是一个一致性的状态镜像，它可以作为许多相互兼容的应用的一个初始化点。给定一个保存点以后，就可放心对应用进行升级或扩容，还可以启动多个版本的应用来完成A/B测试。

数据分析应用02

分析作业会从原始数据中提取信息，并得到富有洞见的观察。如图所示，传统的数据分析通常先对事件进行记录，然后在这个有界的数据集上执行批量查询。为了把最新的数据融入到查询结果中，就必须把这些最新的数据添加到被分析的数据集中，然后重新运行查询。查询的结果会被写入到一个存储系统中，或者形成报表。图Flink同时支持流式及批量分析应用2.1什么是数据分析应用

2.1什么是数据分析应用一个高级的流处理引擎，可以支持实时的数据分析。这些流处理引擎并非读取有限的数据集，而是获取实时事件流，并连续产生和更新查询结果。这些结果或者被保存到一个外部数据库中，或者作为内部状态被维护。仪表盘应用可以从这个外部的数据库中读取最新的结果，或者直接查询应用的内部状态。

2.2典型的数据分析应用??电信网络质量监控??移动应用产品更新及实验评估分析?实时数据即席分析??大规模图分析

2.3流式分析应用的优势流式分析具有更加简单的应用架构连续流式分析从事件中获取洞察结果的延迟更低流式查询不需要处理输入数据中的人为产生的边界020103连续流式分析的优势

一个批量分析流水线会包含一些独立的组件来周期性地调度数据提取和查询执行。如此复杂的流水线，操作起来并非易事，因为，一个组件的失败就会直接影响到流水线中的其他步骤。相反，运行在一个高级流处理器（比如Flink）之上的流式分析应用，会把从数据提取到连续结果计算的所有步骤都整合起来，因此，它就可以依赖底层引擎提供的故障恢复机制。2.3流式分析应用的优势

Flink可以同时支持批处理和流处理。Flink提供了一个符合ANSI规范的SQL接口，它可以为批处理和流处理提供一致的语义。1不管是运行在一个静态的数据集上，还是运行在一个实时的数据流上，SQL查询都可以得到相同的结果。2Flink还提供了丰富的用户自定义函数，使得用户可以在SQL查询中执行自定义代码。3如果需要进一步定制处理逻辑，Flink的DataStreamAPI和DataSetAPI提供了更加底层的控制。4此外，Flink的Gelly库为基于批量数据集的大规模高性能图分析提供了算法和构建模块支持。52.4Flink是如何支持数据分析