大数据分析技术基础教学课件3-大数据处理平台Hadoop.pptxVIP

大数据处理平台Hadoop大数据分析技术基础教学课件3-大数据处理平台Hadoop全文共27页，当前为第1页。Hadoop—大数据时代的火种大数据分析技术基础教学课件3-大数据处理平台Hadoop全文共27页，当前为第2页。摩尔定律1965年4月19日，仙童半导体公司工程师，后来创建英特尔供的戈登。摩尔在著名的《电子学》杂志（Electonic Magazine）发表文章，语言半导体芯片上集成的晶体管和电阻的数量将每年增加1倍。10年后，摩尔在IEEE国际电子组件大会上将他的语言修正为半导体芯片上集成的晶体管和电阻的数量将每两年增加1倍。这个语言见证了半导体行业半个世纪的飞速发展，并见证了以此为基础的IT产业的蓬勃发展。摩尔定律大数据分析技术基础教学课件3-大数据处理平台Hadoop全文共27页，当前为第3页。大数据发展的驱动力大数据分析技术基础教学课件3-大数据处理平台Hadoop全文共27页，当前为第4页。Google解决大数据计算问题的方法大数据分析技术基础教学课件3-大数据处理平台Hadoop全文共27页，当前为第5页。面对爆炸式增长的数据，如何从海量的数据中找到自己想要的信息Google三大神器具备海量数据存储和访问的分布式文件系统 GFS简洁高效的并行计算编程模型 MapReduce支持海量结构化数据管理的BigTableHadoop的由来和发展2003年Google发表了关于云计算核心技术的GFS论文Apache开源项目Nutch搜索引擎的开发者Doug Cutting, 正面临如何将其架构扩展到处理数十亿网页的规模他们意识到GFS的技术可以帮助他们解决Nutch抓取网页和建立索引的过程中产生的大量文件的问题2004年编写了开源的类似的系统NDFS2004年Google发表了另一核心技术MapReduce的论文，他们将Nutch的主要算法移植到MapReduce和NDFS上大数据分析技术基础教学课件3-大数据处理平台Hadoop全文共27页，当前为第6页。Hadoop的由来和发展大数据分析技术基础教学课件3-大数据处理平台Hadoop全文共27页，当前为第7页。Yahoo发现GFS和MapReduce的巨大潜力，将Doug Cutting招入公司，并成立了专门的团队Nutch项目的分布式运算部分被单独剥离出来，成为Apache的一个子项目HadoopHadoop项目的名称来源于Doug Cutting儿子的一个黄色的大象玩具Hadoop的由来和发展Hadoop项目的目标是建立一个能够对海量数据进行可靠的分布式处理的可扩展开源框架。GoogleGFSMapReduceBigTableHadoopHDFSMapReduceHBase大数据分析技术基础教学课件3-大数据处理平台Hadoop全文共27页，当前为第8页。Hadoop的发展历程大数据分析技术基础教学课件3-大数据处理平台Hadoop全文共27页，当前为第9页。Hadoop的特性 Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可扩展的方式进行处理的，它具有以下几个方面的特性： 支持超大文件快速应对硬件故障流式数据访问高容错性 简化的一致性模型硬件成本低大数据分析技术基础教学课件3-大数据处理平台Hadoop全文共27页，当前为第10页。Hadoop的应用现状 大数据分析技术基础教学课件3-大数据处理平台Hadoop全文共27页，当前为第11页。Hadoop凭借其突出的优势，已经在各个领域得到了广泛的应用，而互联网领域是其应用的主阵地 Hadoop被公认为行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力 几乎所有主流厂商都围绕Hadoop提供开发工具、开源软件、商业化工具和技术服务，如谷歌、雅虎、微软、思科、淘宝等，都支持Hadoop Apache Hadoop 版本演变 Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0 第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则增加了NameNode HA等新的重大特性 第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x增加了NameNode HA和Wire-compatibility两个重大特性大数据分析技术基础教学课件3-大数据处理平台Hadoop全文共27页，当前为第12页。Apache Hadoop版本演变 大数据分析技术