大数据开发技术(Hadoop)-大纲 .pdf

《大数据开发技术（Hadoop）》教学大纲

课程编号：071333B

课程类型：□通识教育必修课□通识教育选修课

□专业必修课█专业选修课

□学科基础课

总学时：48讲课学时：16实验（上机）学时：32

学分：3

适用对象：计算机科学与技术专业，大三本科生

先修课程：人工智能、面向对象程序设计、数据库原理、高性能

计算

一、教学目标

目标是让学生了解并掌握四个领域（即大数据系统的起源及系统特征、大数

据系统的架构设计及功能目标设计、大数据系统程序开发、企业大数据案例分

析）的内容，同时利用真机实验环节以及大数据实训一体机来提升学生对大数据

开发的实践能力；

本课程重点让学生掌握四个方面的内容：

目标1：HDFS使用操作

目标2：Map/Reduce开发

目标3：HBase数据库的开发

目标4：Hive数据仓库开发

二、教学内容及其与毕业要求的对应关系

1：Hadoop大数据处理平台安装与部署

目标及要求：让学生掌握Hadoop平台的安装，熟悉大数据处理的软硬件环境。

2：HDFS操作命令操作

目标及要求：让学生掌握分布式文件系统HDFS的文件操作，包含导入导出文件、

列表、查找、删除文件等。

3：MapReduce开发

目标及要求：让学生掌握在HDFS文件系统内的Map及Reduce的Java开发，实现

对指定文本文件的单词计数，将统计结果输出至控制台。

4：HBase数据库命令操作

目标及要求：让学生掌握分布式文件数据库系统HBase的数据库操作，包含创建

表、删除表、增加列、导入记录、删除记录等。

5：Hive数据仓库基础使用

目标及要求：让学生掌握在Hive数据仓库的基本命令的操作，包含创建数据仓库、

创建表、删除表、导入及导出数据，统计查询等在CLI模式下的使用操作。

三、各教学环节学时分配（黑体，小四号字）

教学课时分配

序号章节内容讲课实验其他合计

1大数据概述10

大数据应用开发思路和开

2发环境配置16

3HDFS分布式文件系统26

4MapReduce分布式编程48

5HBase分布式数据库46

6Hive数据仓库开发46

合计481632

四、教学内容

第一章大数据概述

授课学时：1

基本要求：

1.了解大数据概念、特征、数据计量单位以及大数据的类型；

2.了解大数据系统的设计背景、以及当前大数据系统存在的不足；

3.了解大数据系统的设计思想、设计目标和设计原则；

4.了解大数据系统的整体逻辑架构设计及运行逻辑，了解当前大数据系统的主

流架构；

第二章大数据应用开发思路和开发环境配置

授课学时：1

基本要求：

1.掌握大数据系统应用读写操作的开发流程；

2.掌握分析大数据开发技术及思路；

3.掌握大数据Java开发的环境配置、Plugin插件的安装，Hadoop环境配置；

4.真机实操训练（实验环节1）；

第三章HDFS分布式文件系统

授课学时：2

基本要求：

1.了解HDFS设计目标、基本概念；

2.掌握HDFS文件系统的命令操作；

3.掌握Java对HDFS的程序开发操作，包含目录管理、文件列表、读取、导入导

出、文件压缩等开发；

4.真机实操训练（实验环节2）；

第四章MapReduce