开源力量公开课第24期-为何Hadoop是分布式大数据处理.pdfVIP

为何Hadoop是分布式大数据处理的未 来如何掌握Hadoop? By 王家林 微博：/ilovepains 开源力量公开课 | 让我们一起向最牛的IT技术专家们学习！ http:// . Hadoop实验环境  VMWare ：提供虚拟集群环境  UBuntu：Hadoop运行的操作系统  SSH:用来远程连接linux服务器，linux下 可以直接使用ssh命令  Hadoop-1.1.2 开源力量公开课 | 让我们一起向最牛的IT技术专家们学习！ http:// . Hadoop思想来源：Google 1，Google搜索引擎，Gmail，安卓， AppspotGoogle Maps ，Google earth， Google学术，Google翻译，Google+等 ； 2，Google的Android ； 3，Google 已经无所不在； 开源力量公开课 | 让我们一起向最牛的IT技术专家们学习！ http:// . Google的低成本之道 不使用超级计算机，不使用存储（淘宝的 去i，去e，去o之路） 大量使用普通的pc服务器（去掉机箱，外 设，硬盘），提供有冗余的集群服务 全世界多个数据中心，有些附带发电厂 运营商向Google倒付费 开源力量公开课 | 让我们一起向最牛的IT技术专家们学习！ http:// . Google面对的数据和计算难题 大量的网页怎么存储？ 搜索算法 Rank计算问题 开源力量公开课 | 让我们一起向最牛的IT技术专家们学习！ http:// . Google带给我们的关键技术和思想  GFS  Map-Reduce  Bigtable 开源力量公开课 | 让我们一起向最牛的IT技术专家们学习！ http:// . Hadoop的源起——Lucene  Doug Cutting开创的开源软件，用java 书写代码，实 现与Google类似的全文搜索功能，它提供了全文检索 引擎的架构，包括完整的查询引擎和索引引擎  早期发布在个人网站和SourceForge，2001年年底 成为apache软件基金会jakarta 的一个子项目  Lucene的目的是为软件开发人员提供一个简单易用 的工具包，以方便的在目标系统中实现全文检索的功 能，或者是以此为基础建立起完整的全文检索引擎  对于大数量的场景，Lucene面对与Google同样的困 难。迫使Doug Cutting学习和模仿Google解决这些问 题的办法  一个微缩版：Nutch 开源力量公开课 | 让我们一起向最牛的IT技术专家们学习！ http:// . 从lucene到nutch，从nutch到hadoop  2003-2004年，Google公开了部分GFS和 Mapreduce思想的细节，以此为基础Doug Cutting等 人用了2年业余时间实现了DFS和Mapreduce机制， 使Nutch性能飙升  Yahoo招安Doug Cutting及其项目  Hadoop 于 2005 年秋天作为 Lucene的子项目 Nutch的 一部分正式引入Apache基金会。2006 年 3 月份，Map-Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中  名字来源于Doug Cutting儿子的玩具大象 开源力量公开课 | 让我们一起向最牛的IT技术专家们学习！ http:// . Hadoop的历史  始于2002年的apache项目Nutch  2003年Google发表了关于GFS的论文  2004年Nutch的开发者开发了NDFS  2004年Google发表了关于MapReduce的 论文  2005年MapR被引入了NDFS  2006年改名为Hadoop，NDFS的创始人 加入Yahoo