Linux操作系统管理 PPT课件15.pptxVIP

Linux操作系统管理; 项目15 Hadoop的安装与配置;;15.1 初识Hadoop;15.1.1 Hadoop 2.x生态系统;1. Hadoop分布式文件系统HDFS HDFS是Google GFS的开源实现，它是一个具有高容错性的文件系统，适合部署在廉价的机器上，提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 2. YARN资源协调器 YARN是统一资源管理和调度平台，它提供了资源隔离方案和双调度器的实现。 3. MapReduce编程模型 MapReduce利用函数式编程的思想，将对数据处理分为Map和Reduce两个阶段。;4. Hadoop主从架构master/slave Hadoop集群采用主从架构，其中名字节点NameNode与JobTracker为master，数 据节点DataNode与TaskTracker为slaves。名字节点与数据节点负责完成HDFS的 工作，JobTracker和TaskTracker则负责完成MapReduce的工作。;15.1.2 运行环境和模式; 2.Hadoop运行模式 （1）单机模式（Standalone Mode） 在这种模式下不需要任何配置，Hadoop所有的守护进程都变成了一个Java进程。 （2）伪分布模式（Pseudo-Distributed Mode） 在这种模式下，Hadoop所有守护进程都运行在