课程标准 - spark大数据技术.docxVIP

大数据应用专业 Spark 大数据技术与应用课程标准 、 基本信息 课程名称：Spark 大数据技术与应用 课程编码： 适应对象：三年制大数据应用专业 总学时：64 学时 学分：5 教学条件：一体化教室、武汉伟创聚赢科技有限公司 建设团队：共有教师x 人，专职讲师x 人 审定机构：教务处 审定日期： 二、 课程理念 课程定位 本课程是为大数据技术类相关专业学生开设的课程。Spark 继承了 MapReduce 分布式计算的优点并改进了 MapReduce 明显的缺陷。Spark 拥有 Hadoop MapReduce 所具有的优点， 但不同于 MapReduce，Spark 的中间输出结果可以保存在内存中，从而大大减少了读写HDFS 的次数，因此 Spark 能更好地适用于数据挖掘与机器学习中需要迭代的算法。目前， Spark 在企业中的运用越来越广泛，学习 Spark 分布式计算框架已然是进入大数据行业所 必不可少的一步。 课程改革理念 大数据技术蓬勃发展，基于开源技术的 Hadoop 在行业中应用广泛。但是 Hadoop 本身还存在诸多缺陷，最主要的缺陷是其 MapReduce 计算模型延迟过高，无法胜任实时、快速计算的需求。Spark 的诞生弥补了MapReduce 的缺陷。 课程设计思路 本课程采用理论与实践相结合的教学方法。在理论上，通过典型案例引入概念、原理和方法。在实