第一阶段【大数据基础Hadoop 2x】.pdf

What Is Apache Hadoop ？ What Is Apache Hadoop ？ Hadoop项目主要包括以下四个模块 Hadoop Common: 为其他Hadoop模块提供基础设施。  Hadoop HDFS: 一个高可靠、高吞吐量的分布式文件系统  Hadoop MapReduce: 一个分布式的离线并行计算框架  Hadoop YARN: 一个新的MapReduce框架，任务调度与资源管理 Apache Hadoop 起 Apache Hadoop 起 Apache Lucene 开源的高性能全文检索工具包 Apache Nutch 开源的 Web 搜索引擎 Google 三大论文 MapReduce / GFS / BigTable Apache Hadoop 大规模数据处理 HDFS 系统架构图 HDFS 系统架构图 HDFS 服务功能 HDFS 服务功能  NameNode是主节点，存储文件的元数据如文件名，文件 目录结构，文件属性（生成时间,副本数,文件权限），以及 每个文件的块列表和块所在DataNode等。 DataNode 在本地文件系统存储文件块数据，以及块数据的 校验和。 Secondary NameNode 用来监控HDFS状态的辅助后台程序 ，每隔一段时间获取HDFS元数据的快照。 YARN 架构图 YARN 架构图 YARN 服务功能 YARN 服务功能 ResourceManager ApplicationMaster 处理客户端请求 数据切分 启动/监控ApplicationMaster 为应用程序申请资源，并分配给内部 监控NodeManager 任务 资源分配与调度 任务监控与容错 NodeManager Container 单个节点上的资源管理 对任务运行环境的抽象，封装了CPU 处理来自ResourceManager 的命令 、内存等多维资源以及环境变量、启 处理来自ApplicationMaster 的命令 动命令等任务运行相关的信息 离线计算框架 MapReduce 离线计算框架 MapReduce MapReduce on YARN MapReduce on YARN Prepare to Start the Hadoop Cluste Prepare to Start the Hadoop Cluste Standalone Operation Standalone Operation  $ mkdir input  $ cp etc/hadoop/*.xml input  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar grep input output dfs[a-z.]+  $ cat output/* Pseudo-Distributed Operation Pseudo-Distributed Operation 下载 /dist/hadoop/common/ 解压 $ tar -zxvf hadoop-2.5.0.tar.gz 修改配置文件（$HADOOP_HOM