Spark大数据技术与应用 教学大纲 及 授课计划.pdfVIP

《Spark大数据技术与应用》教学大纲

课程名称：Spark大数据技术与应用

课程类别：必修

适用专业：大数据技术类相关专业

总学时：乂学时（其理论40学时，实验24学时）

总学分：4.0学分

一、课程的性质

本课程是为大数据技大、人工智能技术应用类相关专业学生开设的课程。大数据技术蓬

勃发展，某干开源技术的Hadoop在行业应用广泛。彳日是Hadoop本身还存在诸多缺陷，最

主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时，快速计算的需求。Spark的诞

生弥补了MapReduce的缺陷°Spark继承了M叩Reduce分布式计算的优点并改进了MapReduce

明显的缺陷。Spark拥有HadoopMapReduce所具有的优点，但不同于MapReduce,Spark的

间输出结果可•以保存在内存，从而大大减少了读写HDFS的次数，因此Spark能更好地适用

于数据挖掘与机器学习需要迭代的算法。目前,Spark在企业的运用越来越广泛，学习Sp