课程主题Hadoop概述大数据应用开发课程.pptx

大数据应用开发课程现代殡葬技术与管理专业群教学资源库主讲人：陈为满课程主题：Hadoop概述

CONTENTSCONTENTS一Hadoop介绍三Hadoop的优点二Hadoop的发展历史四Hadoop的应用

用java语言实现开源软件框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理一Hadoop的介绍狭义上Hadoop指的是Apache的一款开源软件01Hadoop的核心组件02HadoopHDFS（分布式文件存储系统）：解决海量数据存储HadoopYARN（集群资源管理和任务调度框架）：解决资源任务调度HadoopMapReduce（分布式计算框架）：解决海量数据计算

一Hadoop的介绍广义上Hadoop指的是围绕Hadoop打造的大数据生态圈03

二Hadoop的发展历史Hadoop2.0.0-alpha版本发布、Impala加入Hadoop生态圈、Hadoop2.0.0版本发布Avro、HBase、Hive、Pig、ZooKeeper陆续脱离Hadoop，成为Apache顶级项目。Hadoop1.0.0版本发布，标志着Hadoop已经初具生产规模。Nutch的创始人DougCutting受到启发，实现了DFS和MapReduce机制Hadoop作为Nutch的一部分被引入Apache基金会，随后又从Nutch中剥离，成为一套完整独立的软件，起名为Hadoop。20032009201020132014-2017Spark成为Apache顶级项目Hadoop3.0.0版本发布。Hadoop成为Apache顶级项目。Hive、MapReduce、HDFS、Avro以及Chukwa成为Hadoop的子项目。

三Hadoop的优点成本低Hadoop通过普通廉价的机器组成服务器集群来分发以及处理数据，以至于成本很低。2Hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群可用方便的扩展到数以千计的节点中。扩容能力1可靠性高4能自动维护数据的多份复制，并且在任务失败后能自动地重新部署计算任务。所以Hadoop的按位存储和处理数据的能力值得人们信赖。云计算3通过并发数据，Hadoop可以在节点之间动态并行的移动数据，使得速度非常快。

支持广告系统用户行为分析支持Web搜索反垃圾邮件系统四Hadoop的应用Yahoo01Facebook02存储处理数据挖掘和日志统计构建基于Hadoop数据仓库平台（ApacheHive来自FB）

蓝云基础设施构建商业化Hadoop发行、解决方案支持四Hadoop的应用IBM03阿里巴巴05为电子商务网络平台提供底层的基础计算和存储服务交易数据、信用数据用户搜索表征的需求数据、阿拉丁爬虫数据存储数据分析和挖掘、竞价排名百度04

用户关系数据基于Hadoop、Hive构建TDW（腾讯分布式数据仓库）四Hadoop的应用腾讯06对Hadoop的HA方案，以及HBase领域有深入研究华为07

感谢聆听，批评指导