Hadoop初步学习文档.docxVIP

Hadoop 初步学习文档1 Hadoop简介Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google文件系统的论文自行实现而成。1.1Hadoop基本构成Hadoop是一个能够对大量数据进行分布式处理的软件框架, Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。hadoop的集群是基于master/slave模式Hadoop基本运行结构图如下：其中master和slave1、slave2、slave3、slave4分别为五台主机，NameNode、DataNode等为运行在主机上的进程。进程的作用如下：（一）NameNode是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块分别被存到那些数据节点上，主要功能是对内存及I/O进行集中管理（是个单点，发生故障将使集群崩溃）（二）DataNode这个后台程序负责把HDFS数据块读写到本地的文件系统，当客户端要读写某个数据时候，先由NameNode告诉客户端去哪个DataNode进行具体的读/写操作，然后客户端直接与这个DataNode服务器上的后台程序进行通讯，并且对相关的数据块进