《大数据处理与云计算》教学大纲.pdfVIP

《 大 数 据 处 理 与 云 计 算 》 教 学 大 纲 课程类别：专业教育课课程名称：大数据处理与云计算 开课单位：信息与通信工程学院课程编号： 总学时： 40 学分： 2.5 适用专业：信息工程专业 先修课程：无 一、 课程在教学计划中的地位、作用 大数据处理与云计算是信息工程专业高年级学生开设的一门 专业教育课。 本课程主要学习大数据处理和云计算的相关原理和 技术，根据实际需求， 构建相应的大数据处理和云计算平台框架。 通过本课程学习，使学生掌握大数据的采集、传输、处理和 应用的技术， 了解 Hadoop基础架构， 掌握 HDFS和 MapReduce技 术。了解、、、、Pig 等相关大数据技术， 与实际工程应用相结合， 构建相应的云计算平台。 教学应当结合实际实验条件， 培养学生 实践动手能力， 了解大数据技术发展现状， 促进大数据相关教学 改革。 二、 课程教学内容、要求及学时分配 第一章大数据与云计算概况 1、了解大数据概念 2、了解大数据的产生、应用和作用 3、了解云计算技术的概述 4、了解云计算的特点及技术分类 5、了解大数据与云计算、物联网之间的关系 第二章大数据处理与云计算的关键技术 1、理解大数据处理的基本流程 2、掌握大数据的关键技术 3、理解大数据的处理工具 4、了解大数据面临的挑战 5、理解云计算及关系型数据库 第三章 Hadoop 1、了解 Hadoop概述 2、了解 Hadoop发展简史 3、理解 Hadoop 的功能与作用 4、了解 Hadoop 的优缺点 5、了解 Hadoop 的应用现状和发展趋势 6、掌握 Hadoop项目及其结构 7、掌握 Hadoop 的体系结构 8、掌握 HDFS 的体系结构 第四章 MaReduce 1、理解分布式并行编程 2、理解 MapReduce模型概述 3、掌握 Map和 Reduce函数 4、掌握 MapReduce工作流程 5、掌握并行计算的实现 6、掌握新的 MapReduce框架： Yarn 7、理解新旧 HadoopMapReduce框架的对比 第五章 HDFS 1、理解 HDFS 的假设与目标 2、理解 HDFS 的相关概念 3、掌握 HDFS 体系结构 4、掌握 HDFS 命名空间 5、掌握 HDFS 存储原理 6、掌握通讯协议 7、理解数据错误和异常 8、理解从 HDFS 看分布式文件系统的设计需求 第六章 Zookeeper 1、了解 Zookeeper简介 2、掌握 Zookeeper 的工作原理 3、理解 Zookeeper 的数据模型 第七章 HBase海量实时处理实战技巧 1、理解 HBase简介和架构 2、掌握 HBase核心知识点 3、掌握 HBase高级应用 4、理解 HBase应用场景 5、理解 HBase常用接口和 SQL引擎层实战 6、理解基于 HadoopV1和V2使用 HBase的异同 第八章基于 HadoopV2的Hive/Pig 开发技巧 1、理解 Hive 和 Pig 架构和理论基础 2、理解 Hive 的作用和原理说明 3、掌握 Hadoop仓库和传统数据仓库的协作关系 4、理解 Hadoop/Hive 仓库数据数据流 5、理解基于 HadoopV1和V2使用 Hive 和Pig 等工具的异同 6、HQL基本语法 第九章实时流框架 StormonYARN （HadoopV2）实战技巧 1、理解实时流计算的概念 2、理解 Storm 的概念、核心组件、特性 3、理解 Storm 核心概念和数据流模型 4、了解运行基于 Storm 的编程实例 第十章内存计算框架 SparkonYARN （HadoopV2）实战技巧 1、理解 Spark 核心架构 2、掌握在 YARN上安装 Spark 3、理解 Spark 集群配置介绍 4