hadoop概念与实现.pptVIP

Hadoop简介 Hadoop?是一个实现了?MapReduce?计算模型的开源分布式并行编程框架。MapReduce的概念来源于Google实验室，它是一个简化并行计算的编程模型，适用于大规模集群上的海量数据处理，目前最成功的应用是分布式搜索引擎。 由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中，HDFS 和 MapReduce是两个最基础最重要的成员。 主页：/ 实现机制 Hadoop以HDFS为存储，实现了Map/Reduce模型 hadoop的主要特点 ?扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。 高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。 可靠性（Reliable）：hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。 HDFS简介 HDFS （Hadoop Distributed File System）是Google GFS 的开源版本，一个高度容错的分布式文件系统，适合部署在廉价的机器上。HDFS能够提供高吞吐量的数据访问，支持大文件存储，非常适合大规模数据集上的应用。 分布式文件系统是Hadoop云计算的基础。 HDFS的设计目标 硬件错误： 错误检测和快速、自动的恢复是HDFS最核心的架构目标。 流式数据访问：HDFS的设计中更多的考虑到了数据批处理，而不是用户交互处理。比之数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。 大规模数据集：HDFS上的一个典型文件大小一般都在G字节至T字节。 HDFS的设计目标 简单的一致性模型 ： HDFS应用需要一个“一次写入多次读取”的文件访问模型。一个文件经过创建、写入和关闭之后就不需要改变。这一假设简化了数据一致性问题，并且使高吞吐 量的数据访问成为可能。Map/Reduce应用或者网络爬虫应用都非常适合这个模型。目前还有计划在将来扩充这个模型，使之支持文件的附加写操作。 “移动计算比移动数据更划算”：一个应用请求的计算，离它操作的数据越近就越高效，在数据达到海量级别的时候更是如此。因为这样就能降低网络阻塞的影响，提高系统数据的吞吐量。将计算移动到数据附近，比之将数据移动到应用所在显然更好。HDFS为应用提供了将它们自己移动到数据附近的接口。 异构软硬件平台间的可移植性 ：HDFS在设计的时候就考虑到平台的可移植性。这种特性方便了HDFS作为大规模数据应用平台的推广。 HDFS结构图 节点的分类 Namenode Datanode SecondaryNamenode Namenode与Datanode 在Master节点的服务器中会执行两套程序，一个是负责安排MapReduce运算层任务的JobTracker，另一个是负责管理HDFS数据层的NameNode程序。 在Worker节点的服务器中也有两套程序，接受JobTracker指挥，负责执行运算层任务的是TaskTracker程序，而与NameNode对应的则是DataNode程序，负责执行数据读写动作，以及执行NameNode的副本策略。 1.Namenode HDFS采用master/slave架构。一个HDFS集群是有一个Namenode(master)和一定数目的Datanode(slave)组成。Namenode是一个中心服务器，负责管理文件系统的namespace和客户端对文件的访问。Datanode在集群中一般是一个节点一个，负责管理节点上它们附带的存储。 Namenode作用 1.负责管理文件系统的namespace和客户端对文件的访问。 2.决定数据到具体Datanode节点的映射。 3.数据复制。（副本的存放与选择，savemode）Namenode在内存中保存着整个文件系统namespace和文件Blockmap的映像。 Editlog 2.Datanode Datanode不知道关于文件的任何内容、格式，它将文件中的数据保存在本地的文件系统上，并在任务中按Namenode给定的操作处理文件。 3.SecondaryNamenode 用户配置的额外节点，可以不单独配置，默认在Namenode节点上。 SecondaryNamenode：负责定期接受Editlog与对Namenode数据元的检查。 复本存储 复本存储的基本概念 机架感知 (机架id) 副本选择 (就近) 安全模式 文件系统