Flink实时大数据处理技术 课件 04章.Flink流处理架构与原理.pptx

第四章Flink流处理架构与原理Flink实时大数据处理技术

教学内容第一节流处理模型与原理第二节Flink流处理架构第三节Flink集群架构

教学目标知识目标了解大数据流处理模型与基本原理了解Flink流处理架构对数据处理的基本方式技能目标能掌握Flink流处理架构对数据处理的基本方式，完成数据处理和状态管理。能掌握Flink集群架构中各组件的运行原理。毕业要求 1.工程知识

流处理模型与原理–知识点预览#节知识点难点重点应用1C04-01流处理模型与原理1、数据流的概念√2、流处理和批处理√3、流处理的原理√4、流处理的模型√5、流处理的优化策略√

数据流的概念——数据流的特点数据流有以下几个特点：连续性，数据流的连续性意味着数据处理系统需要具备对数据的持续接收和处理能力。实时性，数据流通常是实时产生并实时处理的，因此需要具备快速的处理速度和实时的响应能力。高并发，数据流可能同时包含多个不同来源的数据，因此需要具备高并发的处理能力。不确定性，数据流通常是不确定的，可能会存在噪声、异常值和错误数据等，需要进行数据清洗和处理。可变性，数据流的内容和结构是可变的，可能会随时发生变化，因此需要具备灵活的处理能力。

数据流的概念——数据流的产生数据流一般从以下几个方面产生：实时传感器数据，这种数据源通常来自传感器设备，如气象站、交通监控设备、智能家居设备等，能够实时采集环境数据、交通数据、家庭数据等。用户行为数据，数据源主要涉及网站、移动应用等用户使用行为，如点击量、浏览量、访问时长、购买行为等。业务数据，数据源主要来自企业的内部业务系统，如订单、库存、交易等。外部数据源，数据源主要来自外部环境和市场，如社交媒体数据、新闻数据、舆情数据等。

数据流的概念——数据流的采集方式当谈到数据流的来源和采集时，常见的方式可以归纳为以下几类：推送方式，数据生产者会将数据主动推送到数据处理系统，例如消息队列、ApacheKafka、RabbitMQ等中间件。拉取方式，数据处理系统通过轮询的方式从数据生产者处主动拉取数据。这种方式适用于数据量不大，但是需要实时性比较高的场景。日志采集方式，通过读取应用程序或系统的日志文件获取数据。这种方式比较适合于需要分析系统运行情况的场景，例如日志分析、异常检测等。监控方式通过监控网络流量、系统性能等方式获取数据，这种方式比较适合于系统运行状态的监控和分析。

数据流的概念——主流采集工具主流的数据采集工具包括：Flume：Flume是一个分布式的日志收集系统，主要用于将各种日志数据收集到Hadoop的HDFS中，支持多种数据源的采集，包括Web服务器、JMS、各种数据库等，同时也支持自定义的数据源，如实时数据流。Kafka：Kafka是一个分布式流处理平台，主要用于处理海量的实时数据流，具有高可用、高可扩展性和高性能等特点。Logstash：Logstash是一个开源的日志收集、处理和转发的工具，能够从多种数据源收集数据，包括文件、网络、数据库等。Fluentd：Fluentd是一个开源的数据采集器，与Logstash类似，能够从多种数据源收集数据，并将其转发到目标存储中。

流处理和批处理——定义流处理和批处理是数据处理的两种基本方式。批处理：批处理是指将一批数据一次性加载到系统中进行处理的方式。流处理：流处理是指持续不断地处理数据流，实时地进行计算和分析。批处理方式流处理方式

流处理和批处理——差异批处理和流处理的差异主要表现在以下几个方面：数据处理方式，批处理是对一批静态数据进行处理，而流处理是对动态数据流进行实时处理。处理时延，批处理需要等待一批数据到达之后再进行处理，因此会存在一定的延迟。而流处理是实时处理数据流，可以在数据到达时立即进行处理，因此处理时延更低。处理精度，批处理通常是对整个数据集进行处理，因此可以获得更高的处理精度。而流处理是实时处理数据流，处理精度可能会受到数据采样等因素的影响。数据处理规模，批处理通常处理的数据量较大，需要进行分布式处理。而流处理需要处理的数据量较小，通常可以在单个计算节点上完成。处理结果输出方式，批处理通常是将处理结果保存到文件系统或数据库中，而流处理通常是实时输出处理结果，例如将数据流分发到不同的终端或输出到实时报表中。

流处理的原理流处理的基本原理是实时处理数据流，并根据业务需求对数据进行处理和分析，以产生有价值的结果。流处理通常由三部分组成：数据源、处理引擎和数据输出。

流处理的原理——数据源流处理的第一步是获取数据源。数据源可以是各种数据流，如实时传感器数据、用户行为数据、业务数据等，也可以是其他系统或数据存储中的数据。数据源通常是通过数据输入接口或API进行连接，以获取实时数据流。

流处理的原理——处理引擎流处理的核心是处理引擎。