Hadoop基础知识培训教材.pptVIP

企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 Hadoop基础知识培训 江西电信大数据支撑团队 2014年中国电信大数据技术与应用培训 PDF created with pdfFactory Pro trial version 2 企业信息化部 PDF created with pdfFactory Pro trial version 把信息化打造成为中国电信企业核心竞争力之一 主要内容 第一篇 Hadoop综述 · 第二篇 HDFS 分布式文件系统 第三篇 MapReduce 分布式计算框架 · 第四篇 常用Hadoop组件介绍 3 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 第一篇Hadoop综述 ： 什么是Hadoop ： Hadoop生态系统 ： Hadoop的厂商 ： Hadoop的部署 PDF created with pdfFactory Pro trial version 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 Hadoop是什么? Hadoop是Apache基金会下的一个开源分布式计算平台，以分布式 文件系统(HDFS)和分布式计算框架(MapReduce)为核心，为用户 提供了底层细节透明的分布式基础设施。 yHDFS的高容错性、高伸缩性等优点，允许用户将Hadoop部署 在廉价的硬件上，构建分布式系统。 yMapReduce分布式计算框架允许用户在不了解分布式底层细节 的情况下开发并行、分布的应用程序，利用大规模计算资源，解 决传统高性能单机无法解决的大数据处理问题 Hadoop Nutch Lucene 高性能全文 索引工具包 高性能搜索 引擎工具包 版本演进 对应Cloudera公司的CDH3u5 对应Cloudera 公司的CDH4 PDF created with pdfFactory Pro trial version 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 Hadoop的特点 Hadoop运用于海量数据处理，主要有如下几个优势： 方便 Hadoop可以运行在一般商业机器(X86服务器)构成的大型集群 上 弹性 Hadoop通过增加集群节点，可以线性扩展以处理更大的数据集； 同时在负载下降时，也可减少节点，以便高效使用资源。 健壮 Hadoop设计之初，将故障检测和自动恢复作为设计目标，可以 从容处理通用计算平台上出现的硬件失效情况。 简单 Hadoop允许用户快速编写出高效的并行分布式代码。 PDF created with pdfFactory Pro trial version 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 HADOOP生态系统 y经过几年的快速发展，Hadoop现在已经发展成为包含多个相关项目的软件生 态系统，成为大数据处理技术的事实标准，目前典型的Hadoop生态系统如下所 示： PDF created with pdfFactory Pro trial version 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 ·发展目标 HADOOP生态系统 （1）实时应用场景(0~5s)：Storm、S4等； （2）交互式场景（5s~1m）：这种场景通常能要求必须支持SQL，则可行系统有： Cloudera Impala、Apache Drill、Shark等； （3）非交互式场景（1m~1h）：通常运行时间较长，处理数据量较大，对容错性和扩 展性要求较高，可行系统有：MapReduce、Hive、Pig、Stinger等； （4）批处理场景（1h+）：通常运行时间很长，处理数据量很大，对容错性和扩展性要 求很高，可行系统有：MapReduce、Hive、Pig、Stinger等。 PDF created with pdfFactory Pro trial version 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 HADOOP厂商 Hadoop处于近时间的大数据革命的风暴眼，在Hadoop取得成功的同时也促使主 流市场对其稳定性、成熟的管理，丰富的SQL环境等提出更高要求，于是Hadoop 厂商通过技术创新各显神通。 PDF created with pdfFactory Pro trial version 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 物理上的Hadoop集群 PDF created with pdfFactory Pro trial version 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 逻辑部署的Hadoop集群 PDF created with pdfFactory Pro trial version 企