Spark大数据技术与应用-教学大纲.docxVIP

《Spark 大数据技术与应用》教学大纲 课程名称：Spark 大数据技术与应用课程类别：必修 适用专业：大数据技术类相关专业总学时：64 学时 总学分：4.0 学分 一、课程的性质 本课程是为大数据技术类相关专业学生开设的课程。大数据技术蓬勃发展，基于开源技术的 Hadoop 在行业中应用广泛。但是 Hadoop 本身还存在诸多缺陷，最主要的缺陷是其MapReduce 计算模型延迟过高，无法胜任实时、快速计算的需求。 Spark 的诞生弥补了MapReduce 的缺陷。Spark 继承了 MapReduce 分布式计算的优点并改进了MapReduce 明显的缺陷。Spark 拥有Hadoop MapReduce 所具有的优点，但不同于 MapReduce，Spark 的中间输出结果可以保存在内存中，从而大大减少了读写 HDFS 的次数，因此 Spark 能更好地适用于数据挖掘与机器学习中需要迭代的算法。目前，Spark 在企业中的运用越来越广泛，学习Spark 分布式计算框架已然是进入大数据行业所必不可少的一步。 二、课程的任务 通过本课程的学习，使学生对 Spark 分布式计算框架有一个全面的理解，课程内容主要包括了Spark 基本原理与架构、集群安装配置、Scala 与 Spark 编程、Spark 代表组件，完整项目案例等精选内容。涉及的知识点简要精到，实践操作性强。 序号 序 号 章节名称 主要内容 教学目标 学时 Spark 概述 Scala 基础 Spark 编程 Spark 编程进阶 Spark SQL：结构 5 化数据文件处理  Spark 基本概念 Spark 发展和应用 Spark 环境配置方法 Spark 架构及原理 Scala 简介 Scala 特性 Scala 的环境设置及安装方法 Scala 类的定义和运行方法 Scala 数据类型、函数、表达式的应用 Scala if 判断和for 循环 Scala 集合应用 从内存中已有数据创建RDD 从外部存储创建RDD RDD 转化操作和行动操作方法 RDD 键值对操作 文件读取与存储 下载与安装IntelliJ IDEA Scala 插件安装与使用 配置 Spark 运行环境的方法 运行 Spark 程序的方法 持久化方法 数据分区方法 Spark SQL 简介 Spark SQL CLI 配置 Spark SQL 与 Shell 交互 DataFrame 基础操作方法 了解 Spark 概念 掌 握 如 何 搭 建 Spark 分布式环境 掌 握 Spark RDD 4 的概念 了解Spark 的运行流程和原理 掌握 Scala 环境的安装 8 掌握 Scala 语言的 应用和编程 掌握 RDD 的转化操作和行动操作方 法 掌握键值对 RDD 10 的操作 掌握文本文件的读取和存储 掌握如何在 IDEA 中配置Spark 编程环 境 6 掌握Spark 程序的编写 掌握Spark SQL 使用 6 方法 Spark Streaming： 1. Spark Streaming 运行原理 6 2. Spark Streaming 使用方法实时计算框架 3. DStream 编程模型基本方法 图的基本概念 图计算的应用 掌握Spark Streaming 6 使用方法 Spark GraphX：图 7 计算框架 Spark MLlib：功 8 能强大的算法库 GraphX 的基础概念 图的创建与存储 数据查询与数据转换 结构转换与关联聚合 机器学习 MLlib 介绍和应用 掌 握 Spark GraphX 6 使用方法 掌握 Spark MLlib 使 6 用方法 项目案例：餐饮 项目案例：餐饮 9 平台菜品智能推 荐 常用推荐算法 异常数据处理方法 数据变换方法 学习ALS 算法 掌握 MLlib 算法包的使用 12 学 时 合 计 64 四、考核方式 突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成 = 出勤（10%） + 平时作业与课堂练习（30%）+ 课程设计（60%）。 五、教材与参考资料 教材 肖芳，张良均．Spark 大数据技术与应用[M]．北京：人民邮电出版社．2018． 参考资料 [1] 张良均，樊哲，位文超，刘名军．Hadoop 与大数据挖掘[M]．北京：机械工业出版社．2015．