Hadoop技术论坛开发者入门专刊.pdfVIP

后目录

1Hadoop介绍

2Hadoop在国内应用情况

3Hadoop源代码eclipse编译教程

7在Windows上安装Hadoop教程

13在Linux上安装Hadoop教程

19在Windows上使用eclipse编写Hadoop应用程序

24在Windows中使用Cygwin安装HBase

28Nutch与Hadoop的整合与部署

31在Windowseclipse上单步调试Hive教程

38Hive应用介绍

42Hive执行计划解析

50MapReduce中的Shuffle和Sort分析

53海量数据存储和计算平台的调试器研究

56探讨MapReduce模型的改进

58运行eclipse编译出的Hadoop框架

59表关联在MapReduce上的实现

63Hadoop计算平台和Hadoop数据仓库的区另U

Hadoop介绍

Hadoop是Apache下的——个项目，由HDFS、MapReduceHBaseHiveZooKeeper

等成员组成。其中，HDFS和MapReduce是两个最基础最重要的成员。

HDFS是GoogleGFS的开源版本，一个高度容错的分布式文件系统，它能够提供高吞

吐量的数据访问，适合存储海量（PB级）的大文件（通常超过64M）,其原理如下图所示；

HDFSArchitecture

Metadataops

采用Master/Slave结构。NameNode维护集群内的元数据，对外提供创建、打开、删除

和重命名文件或目录的功能。DataNode存储数据，并提负责处理数据的读写请求。DataNode

定期向NameNode上报心跳，NameNode通过响应心跳来控制DataNode0

InfoWord将MapReduce评为2009年十大新兴技术的冠军。MapReduce是大规模数据

（TB级）计算的利器，Map和Reduce是它的主要思想，来源于函数式编程语言，它的原

理如下图所示:

Map负责将数据打散，Reduce

ShapeCounterwith

负责对数据进行聚集，用户只需要实

Map/Roduco

现map和reduce两个接口，即可完成

TB级数据的计算，常见的应用包括：

日志分析和数据挖掘等数据分析应用。

另外，还可用于科学数据计算，如圆周

率PI的计算等。

HadoopMapReduce的实现也采用

了Master/Slave结构。Master叫做

JobTracker,而Slave叫做TaskTrackero

用户提交的计算叫做Job,每一个

Job会被划分成若干个Tasks。JobTracker

负责Job和Tasks的调度，而TaskTracker

负责执行Taskso

创刊号2010年1月-1-

Hadoop在国内应用情况

主要公司

5甸宝网Bai泡百度

中国移动通信辆易NetEase

CHINAMOBILEwww-163«CQm

更多的数据请浏览：/th/ead-368-l-1.html

地域分布

下面的数据由Hadoop技术论坛提供，数据的绝对值参考意