Hadoop技术与应用 课件 项目3、4 MapReduce编程、YARN实战.pptx

项目3 MapReduce编程【项目2回顾】1. 了解HDFS功能、来源和特点。2. 理解HDFS体系架构及NameNode和DataNode作用。（重点）3. 理解HDFS文件存储原理，包括数据块和副本策略。（重点）4. 理解HDFS数据读取过程和写入过程。（重点）5. 熟练掌握HDFS Web UI界面和HDFS Shell常用命令的使用，初步掌握HDFS Java API编程接口。（重点）6. 熟练掌握通过HDFS Web UI、HDFS Shell、HDFS Java API三大接口实现HDFS文件的操作和管理。（重点，难点）【课程内容】开学第一课（理论1学时）项目1 部署全分布模式Hadoop集群（理论3学时+实验2学时）项目2 HDFS实战（理论4学时+实验2学时）项目3 MapReduce编程（理论4学时+实验2学时）项目4 YARN实战（理论2学时+实验2学时）项目5 部署ZooKeeper集群和ZooKeeper实战（理论2学时+实验2学时）项目6 部署全分布模式HBase集群和HBase实战（理论2学时+实验2学时）项目7 部署本地模式Hive和Hive实战（理论4学时+实验2学时）项目8 Sqoop实战（理论2学时+实验2学时）项目9 Flume实战（理论2学时+实验2学时）项目10 Kafka实战（理论2学时+实验2学时）第3章 MapReduce编程3.