大数据离线与实时技术-课程教学大纲.docxVIP

《大数据离线与实时技术》课程教学大纲

【课程名称】《大数据离线与实时技术》

【课程类型】专业核心课

【授课对象】大数据技术、云计算技术应用、大数据技术与应用及其他计算机相关专业

【学时学分】64学时，4学分

【课程概况】

《大数据离线与实时技术》课程是面向大数据技术、云计算技术应用等相关专业开设的专业核心课程，课程以电影评分数据离线与实时计算项目为主线，围绕Spark分布式集群搭建、离线计算、实时计算环境搭建、实时计算实现和结果可视化，系统介绍大数据计算项目的技术流程和实践方法。

本课程以Python为基础，采用任务驱动、工单实施和理实一体化的教学方式，将Spark、Hadoop、Flume、Kafka、ZooKeeper、Flask、ECharts等技术融入真实项目。学生通过对电影评分数据进行批处理和流处理，理解离线计算与实时计算的特点及应用场景，形成数据处理、程序调试和结果展示的综合能力。

本课程要求学生具备Python程序设计、Linux操作系统、计算机网络和数据库基础，能够进行虚拟机、命令行工具和常用开发环境的基本操作。

【课程目标】

通过本课程学习，学生应达到以下目标：

1．知识目标

（1）掌握Spark分布式集群环境搭建的基本方法，理解Spark的核心概念、体系结构和运行模式。

（2）掌握SparkCore、RDD、转换操作、行动操作、键值