hadoop生态系统基本介绍.pptVIP

* * 提问：举几个例子可以利用数据进行价值提取：亚马逊商品推荐系统：提高转化率?，考虑多方面因素，包括用户之前购买过哪些商品，他们的购物车里有什么，哪些商品被他们评价过或赞过，其他用户浏览或购买了哪些商品 ?新成立的mix部门中的DSP和DMP，一个是广告一个是分析 * * Dog cutting Hadoop这个名字不是一个缩写,它是一个虚构的名字.Doug Cutting如此解释Hadoop的得名：这个名字是我孩子给一头吃饱了的棕黄色大象命名的.我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处.小孩子是这方面的高手.Googol就是由小孩命名的.“ 2002年Nutch项目开始,一个可工作的抓取工具和搜索系统很快浮出水面.无法扩展到拥有数十亿网页的网络. 2003年 Google分布式文件系统(简称GFS)的论文为他们提供了及时的帮助,文中称Google正在使用此文件系统. GFS或类似的东西,可以解决他们在网络抓取和索引过程中产生的大量的文件的存储需求.具体而言,GFS会省掉管理所花的时间,如管理存储节点. 2004年,他们开始写一个开放源码的应用,即Nutch的分布式文件系统(NDFS) 2005年初,Nutch的开发者在Nutch上有了一个Nutch中的NDFS和MapReduce实现的应用远不只是搜索领域 * 2006年2月,他们从Nutch转移出来成为一个独立的Lucene子项目,成为 Hadoop可工作的MapReduce应用,到当年年中,所有主要的Nutch算法被移植到使用MapReduce和NDFS来运行. 大约在同一时间,Doug Cutting加入雅虎,Yahoo提供一个专门的团队和资源将Hadoop发展成一个可在网络上运行的系统 2008年2月,雅虎宣布其搜索引擎产品部署在一个拥有1万个内核的Hadoop集群上 2008年1月,Hadoop已成为Apache顶级项目,证明它是成功的,是一个多样化、活跃的社区. 通过这次机会,Hadoop成功地被雅虎之外的很多公司应用,如Last.fm、Facebook和《纽约时报》 * 橘云hadoop是在CDH的hadoop之上，增加了我们自己实现的功能 2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoop 的商用解决方案，主要是包括支持，咨询服务，培训。2009年hadoop的创始人 Doug Cutting也任职于 Cloudera 公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support 2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建的公司。公司成立之初吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，这些工程师贡献了hadoop 80%的代码。与微软深度合作，推出可以应用于windows上的Hadoop data Platform Hortonworks的大数据分析技术能同时应用于Linux 与Windows 两大平台。 * 2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoop 的商用解决方案，主要是包括支持，咨询服务，培训。2009年hadoop的创始人 Doug Cutting也任职于 Cloudera 公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support 2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建的公司。公司成立之初吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，这些工程师贡献了hadoop 80%的代码。与微软深度合作，推出可以应用于windows上的Hadoop data Platform Hortonworks的大数据分析技术能同时应用于Linux 与Windows 两大平台。 * 2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoop 的商用解决方案，主要是包括支持，咨询服务，培训。2009年hadoop的创始人 Doug Cutting也任职于 Cloudera 公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support 2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建的公司。公司成立之初吸纳了大约25名至30名专门研究Hadoop的