《大数据高级编程技术》课程教学大纲.docx

《大数据高级编程技术》教学大纲

课程编号英文名称：AdvancedProgrammingTechniquesforBigData

学分：3

学时：总学时64学时，其中理论32学时，实践32学时

先修课程：操作系统、云计算与大数据基础

课程类别：专业方向课程

授课对象：数据科学与大数据技术专业学生

教学单位：机械与电气工程学院

修读学期：第6学期

一、课程描述和目标

大数据高级编程技术是为数据科学与大数据技术专业开设的一门重要的应用技术课程，通过该课程的学习，可以使学生具备大数据高级编程的知识，能够基于Hadoop构建企业级应用的架构和方案。本课程的主要内容包括：Hadoop生态系统介绍、Hadoop数据存储、MapReduce处理数据技术、Oozie自动化数据处理技术、实时Hadoop编程技术、Hadoop安全、Hadoop企业级安全解决方案。

本课程拟达到的课程目标:通过本课程的学习，学生的计算思维能明显提升，能够通过编写程序研究与计算机相关的复杂工程问题。具体的课程目标如下：

课程目标1：熟练掌握Hadoop数据存储、MapReduce处理数据技术、Oozie自动化数据处理技术、实时Hadoop编程技术。

课程目标2：能够利用Hadoop构建企业级安全解决方案，初步具备解决工程实践中的复杂问题的能力。

课程目标3：熟悉Hadoop平台的工作原理和功能，能够体会Hadoop平台的特点，包括优势及不足。

二、课程目标对毕业要求的支撑关系

毕业要求指标点

课程目标

权重

3.1能够设计针对大数据系统工程问题的解决方案，包括满足特定需求的系统架构、数据库设计、数据挖掘方法、系统实现、测试与验证等，并在设计环节中体现创新意识。

课程目标1

H

4.2能够基于数据科学的方法和原理，就大数据工程应用中涉及的信息处理、数据关联、模型预测等数据挖掘问题进行研究，设计相关的实验方案，并对结果或数据进行分析与总结，得到合理有效的结论。

课程目标2

H

5.2能够针对大数据工程问题，为预测与分析工程模型选择和使用合适的现代工程工具和信息技术工具，并能理解其局限性。

课程目标3

M

（注：要求课程目标与毕业要求指标点应是一一对应支撑）

三、教学内容、基本要求与学时分配

序号

教学内容

基本要求及重、难点（含德育要求）

学时

教学方式

对应课程目标

1

大数据和Hadoop生态系统简介

要求了解大数据与Hadoop之间的关系，重点掌握Hadoop生态系统、?Hadoop核心组件、Hadoop开发企业级应用。

德育要素：科技报国

4

讲授

演示

练习

课程目标3

2

Hadoop数据存储技术

要求熟悉HDFS架构和HBase架构，能够使用HDFS文件，重点掌握HBase编程技术，能够将HDFS和HBase的组合用于高效数据存储。

德育要素：工匠精神

4

讲授

演示

练习

课程目标1

3

MapReduce处理数据技术

理解MapReduce的工作原理，重点掌握基于MapReduce设计程序，实现大规模数据的并行处理。

德育要素：好习惯的养成

4

讲授

演示

练习

课程目标1

4

Oozie自动化数据处理

了解Oozie的工作原理，能够使用Oozie数据的自动化处理。

德育要素：做事情要讲究方法

4

讲授

演示

练习

课程目标1

5

高级Oozie技术

了解Oozie的系列高级技术，重点掌握构建、部署并实现自定义OozieWorkflow动作。

德育要素：精益求精

4

讲授

演示

练习

课程目标2

6

实时Hadoop编程技术

理解实时处理技术的应用场景，能够使用HBase来实现实时应用。

德育要素：实践出真知

4

讲授

演示

练习

课程目标2

7

Hadoop安全

理解Hadoop面临的安全挑战，重点掌握加固Hadoop安全的方法。

德育要素：国家安全

4

讲授

演示

练习

课程目标2

8

Hadoop企业级安全解决方案

了解企业级应用的安全顾虑，重点掌握Hadoop的企业级应用安全的方法。

德育要素：技术安全的重要性

4

讲授

演示

练习

课程目标3

合计

32

序号

实验项目

实验内容与要求

学时

类型

对应课程目标

1

Ubuntu与Windows文件共享

1）在VMwareworkstation虚拟机软件上安装ubuntu虚拟机14.04（64）位。

2）安装VMwareTools。??3）实现虚拟机ubuntu和宿主机windows文件共享。

4

验证

课程目标3

2

Hadoop集群安装部署

掌握Hadoop集群集群安装部署技术。安装Hadoop集群并完成分布式实例。

2

验证

课程目标1

3

建立Eclipse开发环境

1）基于ubuntukylin14.04(5)版本，安装eclipse，形成ubu