Hadoop 大数据实战手册java.docxVIP

Hadoop大数据实战手册前言出此书的目的就是为了帮助新人快速进入大数据行业，市面上有很多类似的书籍都是重理论少实践，特别缺少一线企业实践经验的传授，而这个课程会让您少走弯路、快速入门和实践，让您再最短时间内达到一个一线企业大数据工程师的能力标准，因为在课程整理和实践安排上过滤掉很多用不上的知识，直接带领大家以最直接的方式掌握大数据使用方法。我在知名一线互联网公司从事大数据开发与管理多年，深知业界大数据公司一直对大数据人才的渴望，同时也知道有很多的大数据爱好者想参与进这个朝阳行业，因为平时也是需要参与大数据工程师的招聘与培养的，所以特别想通过一种方式，让广大的大数据爱好者更好的与企业对接，让优秀的人才找到合适的企业，《Hadoop大数据实战手册》是我根据多年从业经验整理的系列课程，希望让更多的大数据爱好者收益！第二章 hadoop简介Hadoop是一个由Apache基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。适合处理非结构化数据，包括HDFS，MapReduce基本组件。Hadoop版本衍化历史由于Hadoop版本混乱多变对初级用户造成一定困扰，所以对其版本衍化历史有个大概了解，有助于在实践过程中选择合适的Hadoop版本。Apache Hadoop版本分为分为1.0和2.0两代版本，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0。下图是Apache Hadoop的版本衍化史：第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版。第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x增加了NameNode HA和Wire-compatibility两个重大特性。Hadoop遵从Apache开源协议，用户可以免费地任意使用和修改Hadoop，也正因此，市面上出现了很多Hadoop版本，其中比较出名的一是Cloudera公司的发行版，该版本称为CDH（Cloudera Distribution Hadoop）。截至目前为止，CDH共有4个版本，其中，前两个已经不再更新，最近的两个，分别是CDH3（在Apache Hadoop 0.20.2版本基础上演化而来的）和CDH4在Apache Hadoop 2.0.0版本基础上演化而来的），分别对应Apache的Hadoop 1.0和Hadoop 2.0。Hadoop生态圈架构师和开发人员通常会使用一种软件工具，用于其特定的用途软件开发。例如，他们可能会说，Tomcat是Apache Web服务器，MySQL是一个数据库工具。然而，当提到Hadoop的时候，事情变得有点复杂。Hadoop包括大量的工具，用来协同工作。因此，Hadoop可用于完成许多事情，以至于，人们常常根据他们使用的方式来定义它。对于一些人来说，Hadoop是一个数据管理系统。他们认为Hadoop是数据分析的核心，汇集了结构化和非结构化的数据，这些数据分布在传统的企业数据栈的每一层。对于其他人，Hadoop是一个大规模并行处理框架，拥有超级计算能力，定位于推动企业级应用的执行。还有一些人认为Hadoop作为一个开源社区，主要为解决大数据的问题提供工具和软件。因为Hadoop可以用来解决很多问题，所以很多人认为Hadoop是一个基本框架。虽然Hadoop提供了这么多的功能，但是仍然应该把它归类为多个组件组成的Hadoop生态圈，这些组件包括数据存储、数据集成、数据处理和其它进行数据分析的专门工具。该图主要列举了生态圈内部主要的一些组件，从底部开始进行介绍：HDFS：Hadoop生态圈的基本组成部分是Hadoop分布式文件系统（HDFS）。HDFS是一种数据分布式保存机制，数据被保存在计算机集群上。数据写入一次，读取多次。HDFS为HBase等工具提供了基础。MapReduce：Hadoop的主要执行框架是MapReduce，它是一个分布式、并行处理的编程模型。MapReduce把任务分为map(映射)阶段和reduce(化简)。开发人员使用存储在HDFS中数据（可实现快速存储），编写Hadoop的MapReduce任务。由于MapReduce工作原理的特性， Hadoop能以并行的方式访问数据，从而实现快速访问数据。Hbase：HBase是一个建立在HDFS之上，面向列的NoS