Hadoop大数据处理实战（上篇，共上中下3篇）.pptxVIP

Hadoop大数据处理实战 第1章 Hadoop基础知识 本章导读随着计算机和互联网的广泛应用，人类产生、创造的数据量呈爆炸式增长，中国已成为全球数据总量最大、数据类型最丰富的国家之一。海量数据的存储、处理和分析是大多数企业普遍遇到的问题，Hadoop的出现有效地解决了数据存储规模大、存储管理复杂、数据传输效率低和计算速度慢等难题。Hadoop是一个开源的分布式系统基础架构，它可以使用户在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop凭借其高可靠性、高容错性、高扩展性、高效性等优势，已成为大数据分布式处理的首选，在众多领域得到了广泛应用。 学习目标020304了解Hadoop的发展历程。掌握Hadoop的基本概念。了解Hadoop的技术优势。熟悉Hadoop生态系统。了解Hadoop的应用场景 01Hadoop概述Hadoop生态系统02Hadoop与Spark对比分析03Hadoop的应用场景04目录CONTENTS 01Hadoop概述 Hadoop概述1.1.1 什么是Hadoop大数据是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。如果将大数据比作一个产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。大数据需要特殊的技术以有效地处理大量的无法在可容忍时间内进行处理的数据。Hadoop是大数据开发所使用的一个分布式系统基础架构，由Apache软件基金会开发，主要用于海量数据的分布式处理。 Hadoop概述… …… … Hadoop使用的开发语言是Java，主要运行于Linux平台。它是一个允许使用简单编程模型跨计算机集群分布式处理大型数据集的系统，通过它可以方便地管理分布式集群，将海量数据分布式地存储在集群中，并使用分布式并行程序来处理这些数据。 Hadoop概述Hadoop是对Google的文件系统GFS（Google File System）和分布式计算框架MapReduce等核心技术的开源实现。Hadoop架构的核心是HDFS（Hadoop Distributed File System）和Hadoop MapReduce，它们分别用于支持海量数据的存储和并行计算。HDFS（Hadoop分布式文件系统）MapReduce是针对GFS的开源实现，其冗余存储的方式使得数据的安全性得到了保证。它支持廉价计算机搭建的服务器集群，从而获得了海量数据的分布式存储能力，这使得整个系统具备了高吞吐率、高容错性和高扩展性。是针对Google MapReduce的开源实现，它是一种海量数据集的分布式并行计算编程模型。它可以将大作业拆分成小作业进行作业调度和容错管理，适用于数据的批量处理。MapReduce将复杂的并行计算过程高度抽象为Map函数和Reduce函数，这使得用户开发并行应用程序时无需了解分布式系统的底层实现细节，就可以完成海量数据的分布式并行计算工作。 Hadoop概述Hadoop已经成长为一个不再局限于HDFS和MapReduce的、庞大的、多元化的生态系统。Hadoop下的子项目同属于分布式计算和大数据处理范畴，并由Apache软件基金会管理。Hadoop被设计成从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。许多知名互联网公司都使用Hadoop来实现自己的核心业务，如华为公司的云计算平台、淘宝网的推荐系统等。可以说，只要和海量数据相关的领域都有Hadoop的身影。 Hadoop概述1.1.2 Hadoop的产生与发展2005年Nutch将所有主要算法移植到了由NDFS和MapReduce构建的新框架中，在20个节点上可以稳定运行。2004年Google发表了关于分布式计算框架的MapReduce论文，论文名为“MapReduce: Simplified Data Processing on Large Clusters”。2003年Google公司发表了一篇关于分布式文件系统的GFS论文，论文名为“The Google File System”，该论文介绍了Google搜索引擎网页相关数据的存储架构，该架构可解决Nutch遇到的网页抓取和索引过程中产生的超大文件存储需求的问题。2002年Doug Cutting等人创建了开源网络搜索引擎Nutch，该引擎包括了网页抓取、索引、查询等功能。 Hadoop概述2008年6月Facebook、Google和Yahoo!的前工程师Jeff Hammerbacher、Christophe Bisciglia、Amr Awadall