Spark大数据技术与应用教学大纲教案.pdfVIP

《Spark大数据技术与应用》教学大纲教案

课程名称：Spark大数据技术与应用

课程类别：必修

适用专业：大数据技术类相关专业

总学时：64学时（其中理论40学时，实验24学时）

总学分：4.0学分

一、课程的性质

本课程是为大数据技术、人工智能技术应用类相关专业学生开设的课程。大数据技术蓬

勃发展，基于开源技术的Hadoop在行业中应用广泛。但是Hadoop本身还存在诸多缺陷，

最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求。Spark

的诞生弥补了MapReduce的缺陷。Spark继承了MapReduce分布式计算的优点并改进了

MapReduce明显的缺陷。Spark拥有HadoopMapReduce所具有的优点，但不同于MapReduce，

Spark的中间输出结果可以保存在内存中，从而大大减少了读写HDFS的次数，因此Spark

能更好地适用于数据挖掘与机器学习中需要迭代的算法。目前，Spark在企业中的运用越来

越广泛，学习Spark分布式计算框架已然是进入大数据行业所必不可少的一步。

二、课程的任务

通过本课程的学习，使学生对Spark分布式计算框架有一个全面的理解，课程内容主要

包括了Spark基本原理与架构、集群安装配置、Scala与Spark编程、Spark代表组件，完整

项目案例等精选内容。涉及的知识点简要精到，实践操作性强。通过课程学习培养学生科学

的思维方法、灵活运用知识的能力和实验操作能力，使学生具有在大数据领域较强的发现问

题、分析问题、解决问题的能力。

三、课程学时分配

序号教学内容理论学时实验学时其它

1第1章Spark概述22

2第2章Scala基础53

3第3章Spark编程73

4第4章Spark进阶编程42

第5章SparkSQL：结构化数据文件

542

处理

第6章SparkStreaming：实时计算框

642

架

7第7章SparkGraphX：图计算框架42

第8章SparkMLlib：功能强大的算

842

法库

第9章项目案例：广告检测的流量作

966

弊识别

总计4024

四、教学内容及学时安排

1.理论教学

序

章节名称主要内容教学目标学时

号

1.了解Spark概念

2.掌握Spark分布式

1.Spark基本概念