《Hadoop大数据开发基础》教学大纲.docxVIP

《Hadoop大数据开发基础》教学大纲 课程名称：Hadoop大数据开发基础 课程类别：必修 适用专业：大数据技术类相关专业 总学时：64学时（其中理论28学时，实验36学时） 总学分：4.0学分 课程的性质 随着时代的发展，大数据已经成为一个耳熟能详的词汇。与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。Hadoop分布式集群系统架构，具有高可用性、高容错性和高扩展性等优点，由于它提供了一个开放式的平台，用户可以在不了解底层实现细节的情形下，开发适合自身应用的分布式程序。经过多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，包括了Hive、HBase、Spark等一系列组件，成为应用最广泛、最具有代表性的大数据技术之一。因此，学习Hadoop技术是从事大数据行业工作所必不可少的一步。为了满足企业的大数据人才需求，帮助学者掌握相关技术知识解决实际的业务需求，特开设Hadoop大数据开发基础课程。 课程的任务 通过本课程的学习，使学生掌握Hadoop、Hive和HBase集群的安装配置，能够根据具体需求编写MapReduce程序解决实际业务问题，使用Hive、HBase进行数据存储、查询余分析，最后详细拆解并学习电影网站用户影评分析案例，将理论与实践相结合，为将来从事数据分析挖掘研究、工作奠定基础。 课程学时分配 序号 教学内容 理论学时 实验学时 其它 1 第1章 Hadoop介绍 2 0 2 第2章 Hadoop集群的搭建及配置 2 6 3 第3章 Hadoop基础操作 3 3 4 第4章 MapReduce入门编程 4 4 5 第5章 MapReduce进阶编程 5 7 6 第6章 Hive数据仓库 4 5 7 第7章 HBase分布式数据库 4 5 8 第8章 项目案例：电影网站用户影评分析 4 6 总计 28 36 教学内容及学时安排 理论教学 序号 章节名称 主要内容 教学目标 学时 1 Hadoop介绍 什么是Hadoop 了解Hadoop的发展历史 了解Hadoop的特点 了解分布式文件系统——HDFS 了解分布式计算框架——MapReduce 了解集群资源管理器——YARN 了解Hadoop生态系统 了解Hadoop应用场景 了解Hadoop框架及其发展历史、特点。 了解Hadoop核心组件。 了解Hadoop生态系统。 了解Hadoop应用场景。 2 2 Hadoop集群的搭建及配置 创建Linux虚拟机 设置固定IP地址 远程连接虚拟机 配置本地YUM源及安装常用软件 在Linux下安装Java 修改配置文件 克隆虚拟机 配置SSH免密码登录 配置时间同步服务 启动和关闭Hadoop集群 监控Hadoop集群 掌握虚拟机的安装及配置方法。 掌握在Linux下JDK的安装方法。 掌握Hadoop完全分布式集群环境的搭建过程。 掌握Hadoop集群的监控方法。 2 3 Hadoop基础操作 了解Hadoop安全模式 查看、解除与开启Hadoop安全模式 查询集群的存储系统信息 查询集群的计算资源信息 了解HDFS HDFS的基本操作 了解Hadoop官方的示例程序包 提交MapReduce任务给集群运行 查询MapReduce任务 中断MapReduce任务 了解Hadoop安全模式。 掌握查看、解除与开启Hadoop安全模式的操作。 掌握查看Hadoop集群存储系统和计算资源信息的方法。 了解HDFS分布式文件系统。 掌握HDFS的基本操作。 掌握提交MapReduce任务的基本操作。 掌握多个MapReduce任务的管理方法。 3 4 MapReduce入门编程 在Windows下安装Java 下载与安装IntelliJ IDEA 创建MapReduce工程 配置MapReduce环境 了解MapReduce工作原理及核心组成 了解MapReduce实现词频统计的执行流程 读懂官方提供的WordCount源码 分析思路与处理逻辑 编写核心模块代码 统计网站每日的访问次数 分析思路与处理逻辑 编写核心模块代码 将网站每日访问次数根据访问次数进行升序排序 掌握在Windows下安装Java和IntelliJ IDEA的方法。 掌握在IntelliJ IDEA中创建MapReduce工程和配置MapReduce环境的方法。 熟悉MapReduce的工作原理及执行流程。 了解Hadoop官方示例中的WordCount源码。 了解MapReduce编程的基本思路。 熟悉map()方法与reduce()方法的处理逻辑。 掌握编写基础的MapReduce程序处理简单任务的方法。 4 5 MapReduce进阶编程 设置MapReduce输入格式