第8章 Structured Streaming流式计算引擎.pptxVIP

第8章StructuredStreaming流式计算引擎

《Spark大数据分析与实战(第2版)》

了解SparkStreaming的不足，能够说出SparkStreaming在处理复杂的流式数据时的弊端

熟悉StructuredStreaming编程模型，能够描述StructuredStreaming如何处理实时数据

了解StructuredStreaming,能够叙述StructuredStreaming处理数据的特点

掌握StructuredStreaming的API操作，能够通过ScalaAPI的方式实现输入操作、转换操作和输出操作

学习目标/Target

了解时间的分类，能够说出处理流数据中事件时间、注入时间和处理时间的区别

掌握物联网设备数据分析，能够模拟生成数据并分析

掌握窗口操作，能够使用StructuredStreaming完成滚动窗口、滑动窗口和会话窗口操作

学习目标/Target

创新是引领科技变革的重要因素，通过不断探索和创新，可以推动技术的进步和应

用，为经济发展注入新的动力。在当前的数据处理领域，实时处理大量数据流的需求在不断增长，数据的复杂性随之也不断扩大的。然而，对数据流的传统处理方式却无法有效解决实时处理过程中出现的问题，例如时效性低、灵活性不高等。为了解决这些问题，Spark推出了StructuredStreaming,这是一种基于SparkSQL构建的可扩展且容错的流处理引擎，它提供了与SparkSQL类似的API,既支持对数据流处理，也支持对数据批处理。本章将从SparkStreaming的不足开始说起，逐步针对StructuredStreaming的基本概念及其相关操作进行详细介绍。

章节概述/Summary

目录/Contents

3

01

02

03

04

05

SparkStreaming的不足

StructuredStreaming概述

StructuredStreaming的API操作

时间和窗口操作

案例——物联网设备数据分析

③

SparkStreaming的不足

学习目标

了解SparkStreaming的不足，

能够说出SparkStreaming在处理复杂的流式数据时的弊端

8.1SparkStreaming的不足

SparkStreaming实时接收数据时，会将数据切分成多个批数据，每一批数据最终会被转换成

RDD进行处理，并将处理结果保存到存储系统中。然而，这种处理方式并非总能满足实时数据处理的所有需求，其存在以下几方面的弊端。

8.1SparkStreaming的不足

end-to-end的一致性语义需要手动实现

不支持事件时间

一致性语义是指在数据流处理中，保证数据处理时的正确性和顺序性的一种约定或规范。以下

是常见的一致性语义的介绍。

Atmostonce(最多一次):在数据流处理过程中每条数据可能被处理一次或不被处理，这

种情况可能会造成数据丢失。

Atleastonce(至少一次):在数据流处理过程中每条数据会被处理一次或多次，这种一致性语义比Atmostonce的一致性语义安全性高，可以确保数据不会丢失，但可能会造成一条数据被重复处理多次。

Exactlyonce(恰好一次):在数据流处理过程中每条数据只会被处理一次，这种一致性语

义的安全性高，既可以保证数据不会丢失，也可以保证每条数据不会被处理多次。

多学一招：一致性语义

8.1SparkStreaming的不足

③

StructuredStreaming概述

8.2.1StructuredStreaming简介

学习目标

了解StructuredStreaming,能

够叙述StructuredStreaming处理数据的特点。

统一的编程范式

StructuredStreaming是基于SparkSQL的流式处理引擎，和SparkSQL共用大部分DatasetAPI、DataFrameAPI和SQL语句，对熟悉SparkSQL的用户很容易上手，代码也十分简洁。

卓越的性能

StructuredStreaming在与SparkSQL共用DatasetAPI和DataFrameAPI的同时，可以利用SparkSQL引擎来优化查询执行计划，充分发挥Catalyst对查询优化的优势。

多语言支持

Structured