Spark Structured Streaming与批处理及流计算核心概念.pdfVIP

SparkStructuredStreaming结构

流设计

有界数据集和数据集

有界

概念：有明确的开始，也有明确的结束。

接触到的有界数据集：

JSON文档

CSV文档

TXT文档

MySQL表格

Excel表格

使用时，开头有清数据，结尾有清数据。

有界数据集的处理从一开始就被定义了。因此，这种类型的处理

一般称为：批处理。同时，由于数据是附带的（不会再用新的），

所以又叫：线线计算

SparkStructuredStreaming

结构化流概述

认识流计算

有界数据集和数据流

有界

概念：有明确的开始，和明确的结束

有界数据集：一份数据，有明确开始和明确结束。

接触过的有界数据集：

JSON文件

CSV文件

TXT文件

MySQL表格

Excel表格

当你用它的时候，有明确的数据开始和明确的数据结束。

对有界数据集的处理，从开始就是明确了范围的。

所以这种处理我们一般称之为：批处理。

同时由于数据是有边界（不会再有新的了），也称之为：离线计算

概念：有明确的开始，没有明确的结束。

数据流：数据流，有明确的开始，但不知道什么时候结束，按照等待

处理的数据的连续流动。

流：源源性流，五年上测流。

数据流的参数有哪些？

Kafka

Kafkatopic的可以地址

数据有明确的开始：offset从0开始，没有明确的结束：

offset最大值没有了？

对于消费者：

数据开始：用户开始数据；数据结束：数据结束不确定；数

据结束；数据继续；

数据流的的流的流的流的流(源源流的流的流的流)

又可以会源的最作这些设计，所以不能断网，不能叫离线

设计，也说是：计算、实时计算

批处理：从开始运行，然后结束（正常情况）

概念：有明确的开始，没有明确的结束。

数据流：一个数据流，有明确的开始，但是不知道啥时候结束，数

据源源不断的进来等待被处理。

流：源源不断的数据到来，称之为数据流。

有哪些数据流呢：

Kafka

Kafka中的topic的某个分区

数据有明确的开始：offset从0开始

没有明确的结束：offset最大？不知道，来一条数据

加一个

对消费者来说：

数据的开始起于：消费者启动的那一刻

数据的结束起于：不确定啥时候结束，有数据就继续干活，没

数据就等待数据

数据流的处理，由于没有明确的结束点，一般称之为：流（源

源不断）计算

又是因为数据会源源不断的到来的特性，所以不能断网，不能叫离

线计算，也称之为：计算、实时计算

批处理：从运行的那一刻开始，就一定会结束（正常情况）

流量计算：从运行开始，排除了这些（正常情况、报错停机机不安全）

流量计算框架

计算：一般的、大规模的概念，对可以方法法件使用设计。

Kafka:流流流设计(海),流流流流设计,流流流设备承车。

SparkStreaming:流流流流设计,流流流流设计在做同交流动成

的SparkStructuredStreaming(流正化流):流流流流设定天

(流流流流流),流流流流的流流流设计的流流流流流流流流流流

流流流浒

流计算：从运行的那一刻开始，就没想过结束（正常情况、报错宕

机不考虑）

流计算的框架

计算：通用、大范围的概念，对数据进行处理就算计算。

Kafka：流计算框架（消息队列），计算点在于数据的承载。

SparkStreaming：流计算框架，这个计算就是做数据价值提取

的

SparkStructuredStreaming（结构化流）：流计算框架

Flink：流计算框架，目前流计算行业

Stor