大数据实践.pdfVIP

大数据实践 课程提纲 • HADOOP • HDFS • MAPREDUCE • MAPREDUCE在数据挖掘算法中的应用 大数据处理架构HADOOP HADOOP是什么? • 一个分布式文件系统和并行执行环境 • 让用户便捷地处理海量数据 • APACHE软件基金会下面的一个开源项目 • 目前YAHOO!是最主要的贡献者 HADOOP简介 • Hadoop是Apache软件基金会旗下的一个开源分布 式计算平台，为用户提供了系统底层细节透明的 分布式基础架构 • Hadoop是基于Java语言开发的，具有很好的跨平 台特性，并且可以部署在廉价的计算机集群中 • Hadoop的核心是分布式文件系统HDFS （Hadoop Distributed File System ）和MapReduce。HDFS 实现存储，而MapReduce实现数据分析处理 • Hadoop被公认为行业大数据标准开源软件，在分 布式环境下提供了海量数据的处理能力 HADOOP发展史 • Hadoop最初是由Apache Lucene项目的创始人Doug Cutting开发的文本搜索库。Hadoop源自始于2002年 的Apache Nutch项目——一个开源的网络搜索引擎并 且也是Lucene项目的一部分 • 在2004年，Nutch项目模仿GFS开发了自己的分布式 文件系统NDFS （Nutch Distributed File System）， 也就是HDFS的前身 • 2005年，Nutch实现了谷歌MapReduce的开源版本 HADOOP发展史 • 2006 年2 月，Nutch 中的NDFS和MapReduce独立成为 Lucene项目的一个子项目，称为Hadoop，同时，Doug Cutting加盟雅虎 • 2008年1月，Hadoop正式成为Apache顶级项目 • 2008年4 月，Hadoop打破世界纪录，成为最快排序1TB 数据的系统，它采用一个由910个节点构成的集群进行运 算，排序时间只用了209秒 • 2009年5月，Hadoop更是把1TB数据排序时间缩短到62 秒。 HADOOP的特点  扩容能力（SCALABLE）：能可靠地（RELIABLY）存储和处理千兆字节 （PB）数据。  成本低（ECONOMICAL）：可以通过普通机器组成的服务器群来分发以及 处理数据。这些服务器群总计可达数千个节点。  高效率（EFFICIENT）：通过分发数据，HADOOP可以在数据所在的节点 上并行地（PARALLEL）处理它们，这使得处理非常的快速。  可靠性（RELIABLE）：HADOOP能自动地维护数据的多份复制，并且在任 务失败后能自动地重新部署（REDEPLOY）计算任务。 HADOOP应用现状 • Hadoop凭借其突出的优势，已经在各个领域得到了广 泛的应用，而互联网领域是其应用的主阵地 • 2007 年，雅虎建立了一个包含了4000 个处理器和 1.5PB容量的Hadoop集群系统 • Facebook将Hadoop平台用于日志处理、推荐系统和数 据仓库等方面 • 国内采用Hadoop的公司主要有百度、淘宝、网易、华 为、中国移动等 HADOOP应用现状 Hadoop在企业中的应用架构 HADOOP生态圈 组件 功能 HDFS 分布式文件系统 MapReduce 分布式并行编程模型 YARN 资源管理和调度器 Tez 运行在YARN之上的下一代Hadoop查询处理框架 Hive Hadoop上的数据仓库 HBase Hadoop上的非关系型的分布式数据库 Pig 一个基于Ha