Course name： 大数据处理与分析.doc

Coursename:大数据处理与分析

授课语言:中文

A.课程说明

学分：2

上课时间：24学时讲课+16学时实验

学期：第7学期

课程描述：海量数据的处理与分析任务给传统计算机带来了极大的挑战，现有计算机系统结构和数据处理算法难以满足海量数据处理与分析任务在时效、有效性等方面的要求，引起了计算机领域的一次重要变革。本课程首先给出大数据的概述，接着介绍当前主流的开源大数据系统Hadoop的基本概况，再对大数据处理与分析中关键的技术分布式文件系统、大数据处理架构、NoSQL数据库、大数据数据仓库、分布式内存计算、流计算、图计算等进行介绍，最后分解结合互联网、生物医学、物流等行业的应用给出大数据分析的基本框架。使得学生能够选择某一大数据应用场景的要求，确定需要的数据并选择合适的手段进行收集；能对该大数据应用场景进行合理分析和评价，设计和完善相应计算机复杂工程问题的工程实践和解决方案，分析其对于社会、健康、安全、法律、文化的影响，理解应承担的责任；分析和理解大数据处理与分析技术对环境和社会可持续发展可能存在的影响。

B.?教学方法

线上线下混合式教学，课堂讲授，案例讨论

C.?课程目标

目标1：了解大数据技术发展的驱动和局限。

目标2：掌握构建大数据系统的关键技术，能够某一大数据应用场景，合理分析和评价构建大数据系统所面临的复杂工程问题，给出工程实践和解决方案，分析其对于社会、健康、安全、法律、文化的影响。

目标3：针对某一大数据应用场景，确定需要的数据并选择合适的手段进行收集，构建大数据原型系统，分析和理解大数据处理与分析技术对环境和社会可持续发展可能存在的影响。

D.?课程主题/单位和日期

第一次课：数据的概述

（一）课程内容

1.传统计算机面临的新问题；

2.大数据系统的特点；

3.大数据系统与物联网和云计算的关系。

（二）教学要求

1.了解传统计算机的局限；

2.了解大数据系统的特点；

3.理解大数据系统与相关系统之间的关系。

（三）重点与难点

1.重点

大数据系统的特点。

2.难点

大数据系统与相关系统之间的关系。

第二次课：Hadoop的基本概况

（一）课程内容

1.Hadoop简介；

2.Hadoop的基本结构；

3.Hadoop的主要特征。

（二）教学要求

1.掌握Hadoop的基本结构。

2.理解Hadoop的主要特征。

（三）重点与难点

1.重点

Hadoop的基本结构。

Hadoop的主要特征。

2.难点

Hadoop的主要特征。

第三次课：分布式文件系统

（一）课程内容

1．分布式文件系统的概况。

2．HDFS体系结构。

3.HDFS的局限。

（二）教学要求

1.了解分布式文件系统的概况。

2.掌握HDFS体系结构。

3.理解HDFS的局限。

（三）重点与难点

1.重点

HDFS体系结构。

HDFS的局限。

2.难点

HDFS的局限。

第四次课：大数据处理架构

（一）课程内容

1.分布式计算架构的简介。

2．MapReduce的结构。

3.MapReduce的实践。

（二）教学要求

1.了解分布式计算架构。

2.理解MapReduce的结构。

3.掌握MapReduce的实践。

（三）重点与难点

1.重点

MapReduce的结构。

MapReduce的实践。

2.难点

MapReduce的实践。

第五次课：NoSQL数据库

（一）课程内容

1.关系数据库存在的问题。

2.NoSQL数据库简介。

3.NoSQL数据库的发展。

（二）教学要求

1.理解关系数据库存在的问题。

2.掌握NoSQL数据库的基本结构。

3.了解NoSQL数据库的发展。

（三）重点与难点

1.重点

关系数据库存在的问题。

NoSQL数据库的基本结构。

2.难点

NoSQL数据库的基本结构。

第六次课：大数据数据仓库

（一）课程内容

1.大数据数据仓库简介。

2.Hive的基本结构。

（二）教学要求

1.了解大数据数据仓库。

2.掌握Hive的基本结构。

（三）重点与难点

1.重点

Hive的基本结构。

2.难点

Hive的基本结构。

第七次课：分布式内存计算

（一）课程内容

1.Spark的基本结构。

2.Spark与Hadoop的对比。

（二）教学要求

1.掌握Spark的基本结构。

2.了解Spark与Hadoop的差异。

（三）重点与难点

1.重点

Spark的基本结构。

2.难点

Spark与Hadoop的差异。

第八次课：流计算

（一）课程内容

1.流计算概述。

2.Storm