详解hadoop核心架构hdfs.pdfVIP

详解 Hadoop 核心架构 HDFS+MapReduce+Hbase+Hive HDFS 的体系架构 整个 Hadoop 的体系结构主要是通过 HDFS 来实现对分布式存储的底层支持，并通过 MR 来实现对分布式并行任务处理的程序支持。 HDFS 采用主从（ Master/Slave ）结构模型，一个 HDFS 集群是由一个 NameNode 和若 干个 DataNode 组成的 （在最新的 Hadoop2.2 版本已经实现多个 NameNode 的配置 -这也是 一些大公司通过修改 hadoop 源代码实现的功能，在最新的版本中就已经实现了） 。 NameNode 作为主服务器，管理文件系统命名空间和客户端对文件的访问操作。 DataNode 管理存储的数据。 HDFS 支持文件形式的数据。 从内部来看，文件被分成若干个数据块，这若干个数据块存放在一组 DataNode 上。 NameNode 执行文件系统的