《Spark大数据处理技术》教学大纲.pdfVIP

《Spark大数据处理技术》教学大纲

课程编号

英文名称：SparkBigDataProcessingechnology

学分：3

学时：总学时64学时，其中理论32学时，实践32学时

先修课程：程序设计

课程类别：专业方向课程

授课对象：数据科学与大数据技术专业学生

教学单位：机械与电气工程学院

修读学期：第6学期

一、课程描述和目标

Spark大数据处理技术主要针对大数据技术与应用、数据科学、计算:机与电子信息等专

业学牛.，主要讲解基于Spark框架下的分布式数据收集、分布式数据存储、分布式数据计算、

分布式数据展示，并结合相关的开源包使用Scala进行实现，以加深学生对所学内容的理解。

通过本课程教学，使学生对分布式大数据技术有一个全面的了傩，掌握基本的信息内容采集、

存储和分析方法，并且具备一定的针对具体信息采集需求的实际运用和解决能力。本课程的

主要内容包括:Scala语言基础与Spark基础;SparkRDD弹性分布式数据集;SparkSQL

结构化数据文件处理：Kafka分布式发布订阅消息系统：SparkS