Hadoop技术分享.pptVIP

Agenda 云计算概念 Google的云计算 Hadoop HDFS Map/Reduce 日志框架的Hadoop尝试 路在何方  HDFS HDFS （Hadoop Distributed File System）是Google GFS 的开源版本，一个高度容错的分布式文件系统，适合部署在廉价的机器上。HDFS能够提供高吞吐量的数据访问，支持大文件存储，非常适合大规模数据集上的应用。 分布式文件系统是Hadoop云计算的基础。 HDFS的设计目标 硬件错误： 错误检测和快速、自动的恢复是HDFS最核心的架构目标。 流式数据访问：HDFS的设计中更多的考虑到了数据批处理，而不是用户交互处理。比之数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。 大规模数据集：HDFS上的一个典型文件大小一般都在G字节至T字节。 HDFS的设计目标 简单的一致性模型 ： HDFS应用需要一个“一次写入多次读取”的文件访问模型。一个文件经过创建、写入和关闭之后就不需要改变。这一假设简化了数据一致性问题，并且使高吞吐 量的数据访问成为可能。Map/Reduce应用或者网络爬虫应用都非常适合这个模型。目前还有计划在将来扩充这个模型，使之支持文件的附加写操作。 “移动计算比移动数据更划算”：一个应用请求的计算，离它操作的数据越近就越高效，在数据达到海量级别的时候更是如此。因为这样就能降低网络阻塞的影响，提高系统数据的吞吐量。将计算移动到数据附近，比之将数据移动到应用所在显然更好。HDFS为应用提供了将它们自己移动到数据附近的接口。 异构软硬件平台间的可移植性 ：HDFS在设计的时候就考虑到平台的可移植性。这种特性方便了HDFS作为大规模数据应用平台的推广。 HDFS 节点的分类 Namenode Datanode SecondaryNamenode Namenode HDFS采用master/slave架构。一个HDFS集群是有一个Namenode master 和一定数目的Datanode slave 组成。Namenode是一个中心服务器，负责管理文件系统的namespace和客户端对文件的访问。Datanode在集群中一般是一个节点一个，负责管理节点上它们附带的存储。 Namenode作用 1.负责管理文件系统的namespace和客户端对文件的访问。 2.决定数据到具体Datanode节点的映射。 3.数据复制。（副本的存放与选择，savemode）Namenode在内存中保存着整个文件系统namespace和文件Blockmap的映像。 Editlog Linux公社（LinuxIDC.com） Linux公社（LinuxIDC.com）于2006年9月25日注册并开通网站，Linux现在已经成为一种广受关注和支持的一种操作系统，IDC是互联网数据中心，LinuxIDC就是关于Linux的数据中心。 LinuxIDC.com提供包括Ubuntu，Fedora，SUSE技术，以及最新IT资讯等Linux专业类网站。 Datanode Datanode不知道关于文件的任何内容、格式，它将文件中的数据保存在本地的文件系统上，并在任务中按Namenode给定的操作处理文件。 SecondaryNamenode 用户配置的额外节点，可以不单独配置，默认在Namenode节点上。 SecondaryNamenode：负责定期接受Editlog,与对Namenode数据元的检查。 复本存储 基本概念 机架感知 机架id 副本选择 就近 安全模式 文件系统元数据持久化（EditLog, FsImage） 通讯协议 TCP/IP ClientProtocol, DatanodeProtocol 磁盘数据错误，心跳检测和重新复制 元数据备份，namenode单点故障 client读取数据流程 网络存储距离 在HDFS里，数据的移动的距离可以简单量 化： client写入数据流程 数据复制 Replica 数据复制流程 性能测试 测试环境 cluster ?? ?ubuntu?? ?ubuntu-desk?? ?dev211007.sqa?? ?dev211008.sqa  dfs.block.size 64M dfs.replication 3 通过rz直接传100M文件，传到本地虚拟机用11秒，传到实验室dev211007.sqa用时35秒。 上面测试结果是20秒，一个block在本地虚拟机，一个block在实验室，说明上传到HDFS的速度与rz直接上传文件的速度相近。 并发性：集群大小，受制于namenode单点 HD