《Spark大数据技术与应用》教学大纲.pdfVIP

《Spark大数据技术与应用》教学大纲

课程名称：Spark大数据技术与应用

课程类别：必修

适用专业：大数据技术类相关专业

总学时：64学时（其中理论40学时，实验24学时）

总学分：4.0学分

一、课程的性质

本课程是为大数据技术、人工智能技术应用类相关专业学生开设的课程。大数据技术蓬

勃发展，基于开源技术的Hadoop在行业中应用广泛。但是Hadoop本身还存在诸多缺陷，

最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求。Spark

的诞生弥补了MapReduce的缺陷。Spark继承了MapReduce分布式计算的优点并改进了

MapReduce明显的缺陷。Spark拥有HadoopMapReduce所具有的优点，但不同于MapReduce，

Spark的中间输出结果可以保存在内存中，从而大大减少了读写HDFS的次数，因此Spark

能更好地适用于数据挖掘与机器学习中需要迭代的算法。目前，Spark在企业中的运用越来

越广泛，学习Spark分布式计算框架已然是进入大数据行业所必不可少的一步。

二、课程的任务

通过本课程的学习，使学生对Spark分布式计算框架有一个全面的