Hadoop大数据开发基础 第2版 第1章 Hadoop介绍.pdfVIP

Hadoop介绍 任务背景  大数据时代下，针对大数据处理的新技术也在不断地开发和运用中，并逐渐成为数据处理挖掘行业广泛使 用的主流技术之一。在大数据时代，Hadoop作为处理大数据的分布式存储和计算框架，在国内外大、中、 小型企业中已得到了广泛应用。学习Hadoop技术是从事大数据行业工作必不可少的一步。  本章将主要介绍Hadoop分布式框架的理论知识。 • 首先介绍Hadoop框架及其发展历史、特点，并重点讲解Hadoop 的3大核心组件HDFS 、YARN和 MapReduce 。 • 接着对Hadoop生态系统中的组件进行简单的介绍，包括组件的特点和应用。 • 最后简要介绍Hadoop 的应用场景。 2 目录 1 认识Hadoop框架 2 了解Hadoop核心组件 3 了解Hadoop生态系统 4 了解Hadoop应用场景 3 任务描述  在使用Hadoop 的核心组件之前，首先需要对Hadoop框架的理论知识有一定的了解。  本小节的任务是了解Hadoop框架及其发展历史、特点，带领读者走进Hadoop 。 4 什么是Hadoop Hadoop 由Apache基金会开发， 开源的 、 可靠的 、 可扩展的 、 用于分布式计算 的分布式系统基础架构或框架。 5 什么是Hadoop Hadoop 分布式文件  可扩展、高容错、高性能的分布式文件系统 系统  负责数据的分布式存储和备份 HDFS Hadoop 框架核心 分布式  Map （映射） 计算框架  Reduce （规约） MapReduce 6 了解Hadoop发展历史 7 了解Hadoop的特点 高可靠性 高扩展性 高效性 高容错性 可构建在 Hadoop基本框架 低成本 廉价机