- 16
- 0
- 约2.3万字
- 约 18页
- 2023-05-17 发布于河南
- 举报
尚硅谷大数据技术之SparkStreaming
———————————————————————————————
尚硅谷大数据技术之SparkStreaming
(作者:尚硅谷研究院)
版本:V5.0
第1章 SparkStreaming概述
1.1 Spark Streaming是什么
官方文档: /docs/latest/streaming-programming-guide.html
1.2 Spark Streaming架构原理
1.2.1 什么是DStream
1.2.2 架构图
整体架构图
SparkStreaming架构图
1.3 Spark Streaming特点
易用
容错
易整合到Spark体系
第2章 HelloWorld
2.1 版本选型
注意:目前spark3.0.0以上版本只有Direct模式。
2.2 HelloWorld实现
需求:通过SparkStreaming读取kafka某个主题的数据并打印输出到控制台。
官方文档: /docs/latest/streaming-kafka-0-10-integration.html
1)添加依赖
dependencies
dependency
groupIdorg.apache.spark/groupId
ar
您可能关注的文档
- 尚硅谷大数据技术之每日一考-2023-3-29(1).docx
- 尚硅谷大数据技术之Flume(V5.0).docx
- 01_尚硅谷大数据技术之Spark入门(V5.0).docx
- 02_尚硅谷大数据技术之SparkCore(V5.0).docx
- 03_尚硅谷大数据技术之SparkSQL(V5.0).docx
- 04_尚硅谷大数据技术之Spark内核及调优(V5.0).docx
- 《GB/T 15902-2026输送带 弹性伸长和永久伸长的测定及弹性模量的计算》.pdf
- GB/T 15902-2026输送带 弹性伸长和永久伸长的测定及弹性模量的计算.pdf
- 中国国家标准 GB/T 15902-2026输送带 弹性伸长和永久伸长的测定及弹性模量的计算.pdf
- GB/T 47637.1-2026数据中心和电信中心机房安装的信息和通信技术(ICT)设备用直流器具耦合器 第1部分:2.6 kW系统.pdf
- 工程建设事务中心食堂食材采购配送及服务方案投标文件(技术标).doc
- 自然资源执法业务保障服务方案投标文件(技术标).doc
- 恒宇能源环保有限公司新增2套固体废物焚烧处理设施项目环评资料环境影响受理公示.docx
- 化学品扩建工程六期增效技术改造项目环评资料环境影响受理公示.docx
- T∕CSTC 0019-2024 橡胶树保质采收技术规范.docx
- T∕CAMD 0006-2026 SPCC合金增强钢塑复合管.docx
- T∕FSBMEA 0005-2026 山茶油中儿茶素、表儿茶素的测定 高效液相色谱法.docx
- T∕GSQN 015-2026 餐饮行业醇基生物燃料使用安全通用技术要求.docx
- T∕QDIFST 001-2026 干锅酱质量通则.docx
- T∕CSTC 31-2025 特种胶初加工原料 鲜胶乳.docx
原创力文档

文档评论(0)