Hadoop初步学习文档.docxVIP

  • 7
  • 0
  • 约8.51千字
  • 约 8页
  • 2017-03-28 发布于重庆
  • 举报
Hadoop初步学习文档

Hadoop 初步学习文档1 Hadoop简介Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google文件系统的论文自行实现而成。1.1Hadoop基本构成Hadoop是一个能够对大量数据进行分布式处理的软件框架, Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。hadoop的集群是基于master/slave模式Hadoop基本运行结构图如下:其中master和slave1、slave2、slave3、slave4分别为五台主机,NameNode、DataNode等为运行在主机上的进程。进程的作用如下:(一)NameNode是HDFS的守护程序,负责记录文件是如何分割成数据块的,以及这些数据块分别被存到那些数据节点上,主要功能是对内存及I/O进行集中管理(是个单点,发生故障将使集群崩溃)(二)DataNode这个后台程序负责把HDFS数据块读写到本地的文件系统,当客户端要读写某个数据时候,先由NameNode告诉客户端去哪个DataNode进行具体的读/写操作,然后客户端直接与这个DataNode服务器上的后台程序进行通讯,并且对相关的数据块进

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档