hadoop快速入门v1.1.pdfVIP

目的： – 普及关键原理、流程、架构 – 体验 大数据核心技术 Hadoop 快速入门快速入门 李阳 目录 p背景 pHadoop1.0 pHadoop2.0 pp部署 p实验 背景 n起源 n历史 n版本 nn应用场景 n生态系统 背景 起源 背景 起源 Google面临的困境 – 数据存储 – 搜索算法 –– PPaaggeeRaRanknk 背景 起源 数据存储 – 不使用超级计算机，大量使用普通的PC服务器， 提供有冗余的集群服务 背景 起源 搜索算法 – 倒排索引 背景 起源 PageRank 背景 起源 Google贡献的关键思想和技术 – GFS(Google File System) – Map-Reduce –– BBiiggttaabblele 背景 n起源 n历史 n版本 nn应用场景 n生态系统 背景 历史 发展史： – 2003年，Google发表论文，公布GFS设计思想； – 2004年，Google发表论文，公布MapReduce设计思 想； ––年，，DDoouugg CCuuttttinging参参 GGoogooglele的论文的论文，，改造改造 Nutch 以支持MapReduce和NDFS(Nutch Distributed File System ) ； – 2006年1月，Doug Cutting加入雅虎，雅虎提供一个 专门的团队和资源将Hadoop发展成一个可在网络 上运行的系统； – 2006年2月，Apache Hadoop项 正式启动以支持 MapReduce和HDFS的独立发展。 背景 历史 2007年，百度开始使用Hadoop做离线处理； 2007年，中国移动开始在“大云”研究中使用Hadoop技术； 2008年，淘宝开始投入研究基于Hadoop 的系统 云梯； 2008年1月，Hadoop成为Apache顶级项目； 年33 月，CCllooududeerara推出CCDHDH平台， 前已经进入第55版； 2011年7月，Hortonworks 公司成立，推出自己的发行版 HDP，旨在让Hadoop更加可靠，更容易安装、管理。 2012年，中国联通开始基于Hadoop记录和分析用户上网行 为； 2013年10月，Hadoop2.0正式版发布 背景 n起源 n历史 n版本 nn应用场景 n生态系统 背景 版本 闭源发行版 – Intel、华为、IBM等 开源发行版 –– AAppacachhee HHaaddoopoop，，开开源源社区主社区主版本版本，，11.0.0系系列列，， 2.0系列 – Hortonworks HDP （Hortonworks Data Platform） – Cloudera CDH （Cloudera Distributed Hadoop ）， 最著名的的Hadoop公司 背景 版本 BAT 的Hadoop版本： – 百度：基于社区早 版本自行改进开发，融合