20-大数据项目实战III-0613004690-实训大纲.pdfVIP

《大数据项目实战III》

实验大纲

院（系/部）：数学与信息科学学院

教研室：数据科学教研室

日期：2023年5月

1

《大数据项目实战III》实验教学大纲

课程代码：0613004690课程名称：大数据项目实战III

英文名称：BigDataProjectPracticeIII

课程类别：考查课先修课程：Java程序设计

学分/学时：2/16周适用专业:数据科学与大数据技

术专业

开课单位数学与信息科学学

院

一、课程目标

目的：

1、深入理解大数据的基本概念、特征、价值以及在各行业中的应用实例，对Hadoop生态系统、分布

式计算原理等核心理论有全面认知。

2、熟悉主流大数据技术工具：系统学习并熟练运用Hadoop、HDFS、MapReduce、YARN、Kafka、Hive、

Flume等大数据处理框架和组件，了解其工作原理、适用场景及优缺点。

3、理解分布式文件系统等大数据存储技术，实现高效的数据查询与访问。

任务：

1、了解数据仓库开发，熟悉日志数据格式。

2、实现采集模拟生成的日志数据文件上传到Kafka中，再经由Flume消费Kafka主题数据上传到HDFS

中，进行存储，并按天分区保存。

2

二、实验项目及学时分配

序号实验内容教学方法及要求学时分配

教学目的：了解数据仓库开发，了解数据仓库开发的作用，了解数据仓库的数据

来源，掌握行为数据和业务数据的概念。了解数据仓库开发涉及到的主要技术和分

类，掌握数据仓库的系统数据流程。

基本要求：了解数据仓库开发涉及到的主要技术和分类。

重点与难点：重点：数据仓库开发的作用，数据仓库开发的主要技术和分类。

1数仓概念难点：行为数据和业务数据的概念，数据仓库的系统数据流程图。

12学时

教学方法：传统讲授。

主要教学内容：

1.初识数据仓库开发。

2.数据仓库开发的作用。

3.行为数据和业务数据。

4.数据仓库开发的主要技术和分类。

教学目的：了解日志数据的产生，掌握日志数据的不同种类，掌握日志JSON数

据中重要字段所代表的含义，熟悉日志数据的格式。

基本要求：熟悉日志数据的格式。

2日志数据重点与难点：重点：掌握日志数据的不同种类

22学时