- 1、本文档共6页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
《Spark大数据技术与应用案例教程》课程
标准
【课程名称】旅行社经营与管理【课程编码】
【课程类别】专业基础课
【适用专业】计算机科学与技术、大数据技术、数据科学与大数据技术、人工智能等相
关专业
【授课单位】【总学时】48学时
【编写执笔人】【编写日期】
一、课程定位与设计思路
1.1课程性质
本课程是计算机科学与技术、大数据技术、数据科学与大数据技术、人工智能等相关专
业的专业基础课,其目标是培养学生掌握Spark大数据计算框架的基本原理和使用,培养学
生大数据思维与动手能力。
本课程旨在通过介绍大数据产生、大数据技术基础、大数据处理、分析、挖掘和可视化
的完整过程,让学生了解大数据是什么及其应用价值,全方位了解理论知识。同时结合工具
和开发语言实现数据采集、存储、处理、分析、挖掘以及可视化等操作,利用实践操作和应
用案例促进学生动手分析能力,掌握运用大数据分析软件的技能和方法。
1.2课程设计思路
本课程重视理论结合实践,每个项目讲解理论的同时以各种软件实操和案例作为论证和
巩固,提高学生学习的趣味。此外,本课程包含众多实操分析案例,在案例操作的过程中,
一方面需要指导学生完成案例操作的任务,利用工具和开发语言实现数据采集、存储、处理、
分析、挖掘以及可视化等技能,另一方面需要激发学生主动学习、深入研究的热情。本课程
立足于实际能力培养,打破以知识传授为主要特征的传统学科课程模式,转变为以实际操作
任务为中心组织课程内容和课程教学,整合理论和实践,让学生在完成具体案例的过程中来
构建和了解相关理论知识体系,并发展大数据技术应用的职业能力。
二、课程目标
2.1知识目标
(1)了解Spark的发展历程、特点与应用场景。
(2)熟悉Spark的生态系统、运行架构与运行基本流程。
(3)掌握Spark的部署模式、PySpark命令与运行应用程序的方法。
(4)掌握RDD的执行过程和依赖关系。
(5)理解RDD持久化和分区。
(6)熟悉Spark中常见的文件格式。
(7)了解SparkSQL的特点。
(8)理解SparkSQL的架构。
(9)理解SparkSQL的运行原理。
(10)了解流数据、流计算和SparkStreaming的基本概念。
(11)理解SparkStreaming的运行原理。
(12)掌握编写SparkStreaming应用程序的基本步骤。
(13)熟悉SparkStreaming的不同数据源。
(14)了解SparkMLlib的组成。
(15)熟悉SparkMLlib的基本数据类型。
(16)理解SparkMLlib的运行流程。
(17)掌握图的基本概念和类型。
(18)熟悉GraphFrames的优点和功能。
(19)了解GraphFrames的应用场景。
2.2技能目标
(1)能独立搭建Spark单机环境。
(2)能独立搭建Spark集群环境。
(3)能使用PySpark和PyCharm开发并运行应用程序。
(4)能读取数据创建RDD。
(5)能使用RDD的不同操作处理数据。
(6)能对RDD进行持久化和分区操作。
(7)能将RDD存储为不同类型的文件。
(8)能配置SparkSQL。
(9)能读取数据并创建DataFrame。
(10)能获取DataFrame的数据。
(11)能使用不同的方式查询DataFrame的数据。
(12)能将DataFrame保存为不同的数据类型。
(13)能使用SparkStreaming读取不同数据源创建DStream。
(14)能使用DStream的转换操作实时处理流数据。
(15)能使用DStream的输出操作输出实时处理的结果。
(16)能使用SparkMLlib的特征提取、特征转换和特征选择等特征化工具处理数据。
(17)能使用SparkMLlib的聚类算法处理数据。
(18)能使用SparkMLlib的分类算法处理数据。
(19)能读取数据创建图。
(20)能使用GraphFrame类的属性和图
您可能关注的文档
- 计算机求职意向怎么写.pdf
- 傅雷家书阅读附答案.pdf
- 2022年七年级地理上册专题练习带答案与解析.pdf
- 数据治理的组织架构与角色定义.pdf
- 北京市公共租赁住房保障申请表.pdf
- 四年级文学常识练习题.pdf
- 【机械类文献翻译】带式输送机几种软起动方式的比较.pdf
- 劳务派遣管理制度2024-(2篇).pdf
- 我眼中妈妈作文400字8篇.pdf
- 汉服社社长个人工作总结.pdf
- 2024精简护肤洁面趋势报告-TMIC-30正式版.doc
- 2024捕捉华夏民族珍味-咸味主食与咸味零食创新机遇报告-25正式版.doc
- 2024年秋季部编版小学道德与法治二年级上册全册课件PPT最新.pptx
- 部编版第十一册第四单元拓展提高教学课件.ppt
- 2024年秋季新西师大版一年级上册数学全册教学课件(新版教材).pptx
- 2024年秋新人教版一年级上册数学全册教学课件(新版教材).pptx
- 2024年秋季新人教版数学一年级上册全册教学课件(新版教材).pptx
- 2024年秋季新人教版数学一年级上册全册课件(新版教材).pptx
- 2024年秋季新人教版一年级上册数学全册教学课件(新版教材).pptx
- 2024年秋季新人教版一年级上册数学全册课件(新版教材).pptx
文档评论(0)