《Hadoop大数据处理讲义-C3. Hadoop体系架构》.pdf

海量数据处理中的云计算 C3. Hadoop体系架构 北京邮电大学信息与通信工程学院 刘军 liujun@ 2014年春季学期 上节问题  问题： – 对Google的三大核心技术任意一个的最重要技术特点进行研究  要求： – 详细讲解该特点，并说明为什么是最重要的 第2页 本节目录  Hadoop发展历程  基于Hadoop的海量数据处理架构  Hadoop技术组件介绍  Hadoop实战 第3页 Hadoop的由来  当老二干不过老大时，怎么办？  免费 +开源 vs. vs. Hadoop的由来  Doug Cutting + Google论文 + Yahoo ！支持 Doug Cutting Nutch, Lucene创始人 Hadoop创始人 挣扎在如何使Nutch满足Web-Scale要求 2002 2003 发表GFS论文 参考GFS论文，在Nutch中实现NDFS 2004 2004 发表MapReduce论文 参考MapReduce论文，实现并移植Nutch 2005 加入Yahoo!并扩充，建立Hadoop项目 2006 2006 发表BigTable、Chubby论文 Hadoop成为Apache顶级项目 2008 第5页 Hadoop发展历程 第6页 Hadoop技术族 Hive 数据仓库工具 ， 将结构化数据 文 件映射 为库表 ， HBase 并提供 强大的类 Pig S Q L 查 询 功 能 分布式的 、面向 适合 海量数据分 列 的数据库 ，是 析 的脚本语言工 一个适合于非结 具 ，包括了一个 Common 构化海量数据存 数据分析语言 和 储 的 数 据 库 整体架构提供基 支持的运行环境 础支撑性功能 ， 主要包括了文件