《Hadoop大数据原理与应用》教学大纲.docxVIP

PAGE \* Arabic 21 / NUMPAGES \* Arabic 22 《大数据技术原理及应用》课程教学大纲 课程基本信息 （一）课程中文名称：大数据技术原理及应用 代码：00000410124 （二）课程英文名称：Principles and Applications of Big Data Technology （三）课程性质：专业必修课程 （四）课程学分：3学分（理论2学分 实验1学分） （五）适用专业：数据科学与大数据技术，计算机科学与技术 （六）开课单位：计算机学院 课程教学目标 （一）课程定位 《大数据技术原理及应用》是学习大数据技术的入门课程，是计算机科学与技术、数据科学与大数据技术等专业的一门学科基础与专业核心课程。该课程着重讲述大数据技术的知识体系，阐明其基本原理，引导学生进行初级实践和了解相关应用，培养学生运用大数据平台搭建、数据采集与预处理、数据迁移、大数据存储与管理、大数据处理与分析、数据可视化等方法和技术工具完成大数据应用的能力，在整个大数据课程体系中起着承前启后重要作用。该课程由理论教学和实验教学两个部分组成，其先修课程包括面向对象程序设计、Python语言程序设计、操作系统、数据库原理，后续课程包括数据采集与预处理、大数据存储与管理技术、数据挖掘、大数据开发技术、大数据高级编程、数据可视化技术。 （二）课程目标 《大数据技术原理及应用》围绕“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”的指导思想，着重讲述大数据技术的基本原理、基本方法、技术工具和相关应用，帮助学生构建完整的大数据技术知识体系，使学生了解大数据技术在行业领域中的最新发展趋势和前沿知识，熟悉大数据应用的整个生命周期，能够熟练使用Hadoop等主流大数据平台及其生态系统中的技术工具完成基本的大数据应用闭环操作，达到知行合一、以用促学的目的。 知识目标： 1. 理解大数据基本概念，了解大数据与云计算、物联网、人工智能的关系，了解当前大数据的岗位及需求、学习路线； 2. 认识大数据处理平台Hadoop，熟练掌握全分布模式Hadoop集群的部署基本过程； 3. 理解分布式文件系统HDFS的体系架构、文件存储机制和数据读写过程，熟练掌握HDFS Web UI的使用、HDFS Shell常用命令的使用和HDFS编程； 4. 理解分布式计算框架MapReduce的编程思想和作业执行流程，掌握MapReduce简单编程，了解当前其他主流的大数据计算框架如Spark、Storm、Flink等； 5. 理解YARN体系架构和工作原理，掌握YARN Web UI、YARN Shell的基本使用，了解ResourceManager高可用机制的原理与配置，了解HDFS NameNode高可用机制、HDFS NameNode Federation、HDFS Snapshots； 6. 理解分布式协调框架ZooKeeper的执行原理和应用场景，掌握ZooKeeper集群的部署和ZooKeeper Shell常用命令的使用； 7. 理解NoSQL数据库与关系数据库的区别，分布式数据库HBase的数据模型、体系架构和运行机制，熟练掌握HBase集群的部署、HBase Shell常用命令的使用； 8. 理解Hive的体系架构和执行流程，掌握Hive的部署和连接方式，熟练掌握Hive基本操作包括Hive DDL、Hive DML的书写和Hive Shell命令的使用； 9. 理解数据迁移框架Sqoop、日志采集系统Flume、分布式发布/订阅消息系统Kafka的作用、架构和工作原理，掌握Sqoop、Flume、Kafka的部署和使用； 10. 了解数据可视化的概念、作用和过程，理解常用的数据可视化图形，了解当前主流的数据可视化工具。 能力目标：培养学生学以致用，能够综合利用Hadoop大数据平台及其生态中各个工具解决实际大数据应用方面的基本问题，提高学生阅读外文科技文献能力，增强学生发现问题、分析问题、解决问题能力，与学科竞赛和项目紧密结合，稳步培养和提高学生的动手实践能力、自主创新能力、团队协作能力、写作表达能力。 情感目标：通过对我国大数据技术、传统优秀文化的介绍，增强学生的民族自豪感，提升学生的爱国主义精神，增强文化自信；将专业知识与服务社会相结合，培养学生的社会责任感，树立正确三观，使学生更为深刻的理解专业内涵，提高学习内驱力，培养科学素养，内化为道德准则、科学思维和行为规范。 课程教学内容 1.理论教学 第一章 大数据概述 内容与目标： 理解大数据的内涵与特征；了解大数据的影响、应用、关键技术；了解大数据与云计算、物联网、人工智能的关系；了解当前大数据的岗位及需求、学习路线。 1.1 大数据内涵与特征 1.2 大数据影响 1.4