hadoop核心技术原理.docxVIP

hadoop核心技术原理 Hadoop About Me 翟周伟 现任职百度网页搜索部高级工程师 Book: 《Hadoop核心技术》2015-2月出版 《Hadoop开源云计算平台》2011.8月出版 专注开源技术在线培训 Agenda- Ⅰ-Problem, How？ Hadoop要解决什么问题？ C存储：最初为了解决网页存储问题，分布式存储 C计算，解决单机不易处理大数据量计算，并行计算C成本：减少RD开发成本：无需考虑网络编程，提高简单接口 提供哪些核心功能？ C自动分布并行化 C容错和异常处理 专注开源技术在线培训 设计思想与架构- 数据存储与切分 涉及HDFS的三种重要角色，分别为：名称节点-NameNode、数据节点-DataNode 、客户端 专注开源技术在线培训 设计思想与架构-MapReduce模型 MapReduce 模型 专注开源技术在线培训 Agenda- Ⅱ-HDFS原理实现解析HDFS核心概念 HDFS的特性和目标 HDFS核心设计原理 HDFS权限管理 HDFS配额管理 专注开源技术在线培训 HDFS核心概念-Na