《大数据平台部署与运维》课程教学大纲 、授课计划.doc

PAGE

PAGE9

《大数据平台部署与运维》课程教学大纲

一、课程基本信息

开课单位：******学院（部）

适用专业：大数据技术

课程名称：大数据平台部署与运维

课程代码：

课程类型：专业核心课

总学时：64理论学时：32实验（上机）学时：32

考核方式：考试

先修课程：

后续课程：《数据仓库技术应用》、《大数据分析技术》等

二、课程简介

（一）课程性质和任务

①课程性质：

本课程是大数据技术专业必修的专业核心课程。

②课程任务：

本课程是依据大数据技术相关专业人才培养目标和相关职业岗位（群）的能力要求而设置的，对本专业所面向的信息化服务与大数据工程师所需要的知识、技能和素质目标的达成起支撑作用。本课程目的为学生搭建起通向“大数据知识空间”的桥梁和纽带，以“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”为原则，为学生在大数据领域“深耕细作”奠定基础、指明方向。课程将系统讲授大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、分布式并行编程模型MapReduce、Hadoop生态圈常用组件HBase、Hive、Flink和Spark等部署与运维。在各单元的教学环节中，安排了大量的实践操作任务，通过任务驱动让学生更好地学习和掌握平台部署和运维关键技术。

（二）课程目标（学生在知识、能力、素质和课程思政方面应达到的目标要求）

1.知识目标

（1）掌握大数据的概念及特点、了解常用的大数据技术平台；

（2）掌握Hadoop集群的安装及部署；

（3）掌握大数据分布式存储系统HDFS的原理及应用；

（4）掌握大数据分布式处理框架MapReduce的原理及计算流程；

（5）掌握大数据分布式处理框架MapReduce的应用方法，会编写MR程序进行数据分析；

（6）掌握分布式数据库Hbase的部署及运维；

（7）掌握大数据Hive平台的部署及运维；

（8）掌握Spark、Flink的安装部署与运维。

2.能力目标

（1）能够准确理解并描述大数据的概念及特点；

（2）具备分布式大数据平台Hadoop的安装部署与运行维护能力；

（3）能够熟练运用HDFS进行大数据存储管理；

（4）能够准确理解MapReduce的原理及算法步骤；

（5）具备运用MapReduce分布式计算框架进行数据分析的能力；

（6）能够熟练进行分布式数据库Hbase的安装部署；

（7）能够熟练进行Hive、Flink、Spark的部署。

3.素质目标

（1）良好的沟通能力、团队合作及协调能力；

（2）良好的编程习惯；

（3）查阅相关手册及资料能力；

（4）掌握系统设计方法，培养严谨工作态度；

（5）自我展示与语言表达能力；

（6）分析和解决问题的能力；

（7）科学的创造能力和创新精神；

三、教学内容及要求

单元1大数据简介（总学时：2）

任务1.1认识大数据（学时：2）

1.1.1大数据的概念

1.1.2大数据的特点

1.1.3大数据的发展背景

1.1.4大数据技术的发展历程

1.1.5大数据的应用现状

1.1.6大数据的意义和未来

教学目标和要求：

通过本单元的学习，能够理解大数据的由来、大数据的发展历程、大数据常用组件和大数据的应用场景。对大数据及大数据技术有初步的了解。

教学方法：演示法、讲授法

作业：单元1课后作业

实验内容及要求：

无。

单元2Hadoop伪分布式安装部署（总学时：5包含理论和实验）

任务2.1搭建Hadoop伪分布式（学时：4）

2.1.1Hadoop原理与体系架构

2.1.2Hadoop的发展历程与应用现状

2.1.3Hadoop安装方式

任务2数据库设计规范化（学时：1）

2.2.1Hadoop启动关闭等操作命令

2.2.2基于WebUI监控Hadoop平台

教学目标和要求：

通过本单元的学习，使学生了解Hadoop的发展历程和生态系统中各组件的功能，理解Hadoop的原理与体系架构，理解Hadoop的核心组成，掌握Hadoop伪分布式安装步骤，能够通过启动、关闭等命令操作Hadoop，并通过WebUI监控Hadoop运行。

教学方法：任务驱动、演示法、实验法

作业：单元2课后作业

实验内容及要求：（所用学时：2）

任务2.1搭建Hadoop伪分布式实验；

任务2.2启