7.sparksql之udaf函数详解开窗初始读取数据详细过程原理及算子操作03笔记spark day06.pdfVIP

Spark day06 1. SparkStreaming 简介 SparkStreaming 是流式处理框架，是 Spark API 的扩展，支持可扩展、高 吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume, , ZeroMQ 或者 TCP sockets ，并且可以使用高级功能的复杂算子来 处理流数据。例如：map,reduce,join,window 。最终，处理后的数据可以 存放在文件系统，数据库等，方便实时展现。 2. SparkStreamin