《Spark技术与应用》课程标准.docxVIP

《Spark技术与应用》课程标准

学分：4

参考学时：64

一、课程概述

1、课程性质

《Spark技术与应用》课程是大数据技术与应用专业的一门专业核心课程，位于职业能力形成阶段。

随着互联网的发展，数据来源越来越多，数据量越来越大，对大数据技术的应用需求越来越旺盛，对掌握分布式计算大数据技术的人才需求也越来越迫切。用于大数据的分布式计算技术也在向更广的适用性、更高的运行效率、更便捷的开发、更加的系统化等变化，形成了以Hadoop+Spark为核心的技术生态系统，其中Spark基于内存的分布式计算引擎正在逐渐代替Hadoop的MapReduce分布式计算模型而被广泛使用。

本课程是一门技术性、实践性很强的专业课程。本课程围绕数据采集、数据清洗、大数据分析、大数据可视化、大数据开发、大数据运维等大数据技术与服务主要岗位的知识与技能，培养学生的大数据处理分析与应用能力和大数据相关岗位职业素养。

本课程与其它课程的衔接：

前置课程：大数据基础。

后续课程：生产性实训。

2、设计思路

（1）本课程设置的依据

本课程是面向大数据技术与服务岗位设置。针对在实际工作中从事大数据处理分析与应用所需的知识、技能和素质要求设置课程。

（2）课程内容确定的依据

以就业为导向，进行学生的就业面向和职业岗位任职要求分析，基于工作过程系统化的理念开发课程。在课程设计的整个过程中以学生就业“所需”为主体，突出“帮助学生养成良好的职业道德”和“培养具有适应就业需要的专业技能”，促进学生能够可持续发展，提高其终身学习的能力。

课程设计遵循“调研→设计→实现→运行→反馈→改进”的项目开发过程，以大数据处理分析与应用能力培养为主线，融入大数据相关行业及企业的职业要素，使课程的职业性、实践性和开放性得以充分体现。

根据人才市场的调查，在各类企事业单位中，大数据技术与服务相关工作岗位有：数据采集、数据清洗、大数据分析、大数据可视化、大数据开发、大数据运维等。本课程的教学立足于大数据技术与服务相关岗位，培养学生的大数据处理分析与应用能力和大数据相关岗位职业素养，为学生的可持续发展奠定基础。

（3）学习任务的基本架构及活动设计的基本思路

根据大数据技术与服务岗位的职业能力要求，基于能力培养和训练，以典型工作任务为载体，按照从简单到复杂的过程，组织项目化、案例化的学习情境，完成课程设计。课程教学以大数据实际生产过程设计教学项目，每个项目又分解出多个学习型工作任务，组织设计教学情境。以模拟生产“边学边练”的形式实施教学，使学生在项目实施过程中完成知识的学习和技能训练，针对学习情境中的任务完成情况，结合项目任务书对学生进行实时考核与评价。

本课程通过项目教学使学生能运用Spark开发分布式应用程序。

项目编号

项目名称

工作任务

任务编号

任务名称

项目1

认识Scala语言

任务1

初识Scala

任务2

学习Scala的基础语法

任务3

学习Scala的数据结构

任务4

学习Scala面向对象的特征

任务5

学习Scala的模式匹配与样例类

项目2

部署和使用Spark集群

任务6

初识Spark

任务7

搭建Spark开发环境

任务8

认识Spark运行架构与原理

任务9

使用Spark集群完成基本操作

项目3

使用SparkRDD弹性分布式数据集

任务10

使用多种方式创建RDD

任务11

操作处理RDD

任务12

认识RDD的分区和依赖关系

任务13

认识RDD两种处理机制

任务14

认识Spark任务调度流程

项目4

使用SparkSQL处理结构化数据

任务15

认识SparkSQL

任务16

认识DataFrame

任务17

认识Dataset

任务18

将RDD转换为DataFrame

任务19

使用SparkSQL操作数据源

项目5

使用SparkStreaming框架进行实时计算

任务20

认识SparkStreaming

任务21

使用Spark的DStream进行操作

项目6

认识SparkMLlib机器学习算法库

任务22

初识机器学习

任务23

认识Spark机器学习库MLlib

通过6个项目，学生学习后具有Scala语言基础，掌握Spark的设计与运行原理，具备Spark环境搭建和使用能力，具备Spark核心RDD编程能力、具备SparkSQL、SparkStreaming、Spark机器学习等Spark组件编程能力。

（4）教学方法

本课程的实践性强，因此采用“教学做一体化教学”，以项目为载体展开教学。

学习任务按企业工作岗位技能要求内容进行，使学生掌握实际工作方法，提高Spark技术与应用能力，同时可以培养科学思维能力、语言文字能力、沟通交流能力、环保意识、批判性思维等职业素质。

二、课程目标（职业能力目标）

1.知识目