hadoop核心技术原理.pdfVIP

Hadoop About Me 翟周伟 现任职百度网页搜索部高级工程师 Book: 《Hadoop核心技术》2015-2月出版 《Hadoop开源云计算平台》2011.8月出版 专注开源技术在线培训 Agenda- Ⅰ-Problem, How ？ • Hadoop要解决什么问题？ – 存储：最初为了解决网页存储问题，分布式存储 – 计算，解决单机不易处理大数据量计算，并行计 – 成本：减少RD开发成本：无需考虑网络编程，提高简单接口 • 提供哪些核心功能？ – 自动分布并行化 – 容错和异常处理 专注开源技术在线培训 设计思想与架构- • 数据存储与切分 • 涉及HDFS的三种重要角色，分别为：名称节点-NameNode、数据 节点-DataNode、客户端 专注开源技术在线培训 设计思想与架构-MapReduce模型 • MapReduce模型 专注开源技术在线培训 Agenda- Ⅱ-HDFS原理实现解析 • HDFS核心概念 • HDFS的特性和目标 • HDFS核心设计原理 • HDFS权限管理 • HDFS配额管理 专注开源技术在线培训 HDFS核心概念-NameNode • 功能 – 负责HDFS文件系统的管理工作，具体地包括名称空间 namespace管理，文件Block管理 • 特点 – 始终被动接收服务的server • 三类通信协议接口 – ClientProtocol接口 ：提供给客户端，用于访问NameNode。 – DataNodeProtocol接口 ：用于DataNode 向NameNode 通信 – NameNodeProtocol接口 ：用于从NameNode 到NameNode 的通 信 专注开源技术在线培训 HDFS核心概念-NameNode • 元数据管理 • 一个文件被分成一个或多个Block ，这些Block存储在 DataNode集合里，NameNode就负责管理文件Block的所有 元数据信息，这些元数据信息主要为： – （文件名-数据块）映射 – （数据块-DataNode列表）映射 （文件名-数据块）保存在磁盘上进行持久化存储，需要注意的是 NameNode 上不保存（数据块-DataNode列表）映射，该列表是通 过DataNode 上报给NameNode建立起来的。 专注开源技术在线培训 HDFS核心概念-DateNode • 功能 – DataNode 上存储了数据块ID和数据块内容，以及它们的映 射关系。 NameNode 主动上报更新 通过心跳返回操作命令 主动上报更 映射表 新映射表 DateNode 数据块复制 DateNode DataNode作为server 处理数据块读/写请求 专注开源技术在线培训 Client HDFS核心概念-Client Block • Client –访问HDFS的程序或HDFS shell命令都可以称为 HD