二零二三年 优质公开课SparkStreaming的特点.pptx

SparkStreaming的特点 快速简洁易用通用多运行模式 /01SparkStreaming的特点-快速 Spark是基于内存的大数据处理框架Spark具有优秀的作业调度策略SparkStreaming的特点-快速 /02SparkStreaming的特点-简洁易用 Spark提供了支持多种语言的API，如Scala、Java、Python、R等Spark是基于Scala语言开发的，由于Scala是一种面向对象的、函数式的静态编程语言。SparkStreaming的特点-简洁易用 /03SparkStreaming的特点-通用 SparkStreaming的特点-通用 Spark从2.3版本开始引入了持续流式处理模型，可将StreamProcessing（流处理）延迟降低至毫秒级别，让Structured Streaming达到了一个里程碑式的高度；数据量如在10亿+，需要做一个Ad-hocQueries（即席查询），用户可以主动输入搜索条件，提供一定的预处理时间。 使用Hibernate将数据记录插入到数据库的一个很自然的做法是BatchProcessing（批量处理）。如果要将很多对象持久化，必须通过经常的调用?flush()?以及稍后调用?clear()?来控制第一级缓存的大小。进行Batch inserts（批量插入）、Bulk update/delete （批量更新/删除）。 /04SparkStreaming的特点-多运行模式 本地模式Standalone模式Spark on Yarn模式Spark on Mesos模式SparkStreaming的特点-多运行模式 1.快速2.简洁易用3.通用4.多运行模式