Hadoop技术讲解技巧.ppt

* * * * * * * * * * * * * 3、停止Hadoop守护进程 HDFS实验：观察数据块在Datanode上的分布 三个Datanode 文件副本个数为2 文件f.zip的数据块分布情况 关掉一个Datanode时数据块分布情况，此时文件仍然可用 关掉两个Datanode时数据块的分布情况，此时文件不可用 重新启动另外两个Datanode时数据块分布情况 欢迎访问 中国云计算网站 欢迎使用 《云计算》教材 电子工业出版社 刘鹏 主编 本讲到此结束 * * * * * * * * * * * * * * * * * * * * * * * * Hadoop 电子工业出版社 刘鹏主编《云计算》教材配套课件8 主要内容 Hadoop项目简介 HDFS体系结构 HDFS关键运行机制 Hadoop VS.Google（分布式文件系统） Hadoop API Hadoop环境搭建 Hadoop项目简介 Apache的解决方案 Google云计算 MapReduce BigTable GFS Chubby GFS--HDFS MapReduce--HadoopBigTable--HBase  Hadoop项目简介 HDFS为了做到可靠性（reliability）创建了多份数据块（data blocks）的复制（replicas），并将它们放置在服务器群的计算节点中（compute nodes），MapReduce就可以在它们所在的节点上处理这些数据了。 HDFS体系结构  NameNode?Master DataNode?Chunksever HDFS关键运行机制--保障可靠性的措施 一个名字节点和多个数据节点 数据复制（冗余机制） --存放的位置（机架感知策略） 故障检测 --数据节点 心跳包（检测是否宕机） 块报告（安全模式下检测） 数据完整性检测（校验和比较） --名字节点（日志文件，镜像文件） 空间回收机制 HDFS关键运行机制--写文件流程 客户端缓存 流水线复制 并发写控制 流程： 1.客户端把数据缓存到本地临时文件夹 2.临时文件夹数据超过64M，客户端联系NameNode， NameNode分配DataNode，DataNode依照客户端的位置被排列成一个有着最近物理距离和最小的序列 3.与序列的第一个数据服务器建立Socket连接，发送请求头，然后等待回应，依次下传，客户端得到回包，流水线建立成功， 4. 正式发送数据，以4K为大小传送 HDFS关键运行机制--读文件流程 客户端联系NameNode,得到所有数据块信息，以及数据块对应的所有数据服务器的位置信息 尝试从某个数据块对应的一组数据服务器中选出一个，进行连接（选取算法未加入相对位置的考虑） 数据被一个包一个包发送回客户端，等到整个数据块的数据都被读取完了，就会断开此链接，尝试连接下一个数据块对应的数据服务器，整个流程，依次如此反复，直到所有想读的都读取完了为止 Hadoop VS. Google 技术架构的比较 数据结构化管理组件：Hbase→BigTable 并行计算模型：MapReduce→MapReduce 分布式文件系统：HDFS→GFS Hadoop缺少分布式锁服务Chubby HBase MapReduce HDFS BigTable MapReduce GFS Hadoop云计算应用 Chubby Google云计算应用 Hadoop VS. Google HDFS与GFS比较 中心服务器模式的差异 GFS：多台物理服务器，选择一台对外服务，损坏时可选择另外一台提供服务 HDFS：单一中心服务器模式，存在单点故障 原因：Hadoop缺少分布式锁服务 Hadoop VS. Google HDFS与GFS比较 子服务器管理模式差异 GFS：Chunk Server在Chubby中获取独占锁表示其生存状态，Master通过轮询这些独占锁获知Chunk Server的生存状态 HDFS：DataNode通过心跳的方式告知NameNode其生存状态 GFS中，Master损坏时，替补服务器可以快速获知Chunk Server的状态 HDFS中，NameNode损坏后，NameNode恢复时需要花费一段时间获知DataNode的状态 在添加数据存储节点时，GFS的伸缩性较HDFS要好 原因：Hadoop缺乏分布式锁服务 Hadoop VS. Google HDFS与GFS比较 HDFS具备安全模式 获知数据块副本状态，若副本不足，则拷贝副本至安全数目（如3个） GFS不具备安全模式 副本损坏处理：API读取副本失败时，Master负责发起拷贝任务 Hadoop VS. G