Hadoop大数据处理与存储技术教案.pdfVIP

«Hadoop大数据处理与存

储技术基础与实践》

教案

（〜学年第学期）

课程名称：_______________________________

任课班级：_______________________________

任课教师：_______________________________

院（部）：

-W-

授课时间年月日星期1

课号

课题1.1为什么学Hadoop

1、分布式系统的特征

教学目的

2、学习Hadoop的目的

教学重点理解学习Hadoop的目的

教学难点了解Hadoop的体系结构，理解Hadoop与其他系统的关系。

教学内容备注

1.1.1数据的存储和分析

多年来硬盘存储容量快速增加的同时，访问速度一数据从硬盘读取的

速度一却未能与时俱进。1990年，一个普通的硬盘驱动器可存储1370

MB的数据并拥有4.4MB/s的传输速度，所以只需五分钟的时间就可

以读取整个磁盘的数据。20年过去了，1TB级别的磁盘驱动器是很正

常的，但是数据传输的速度却在100MB/s左右。所以它需花两个半

小时以上的时间读取整个驱动器的数据。

只使用一个磁盘的百分之一似乎很浪费。但是我们可以存储100个数

据集，每个1TB,并让它们共享磁盘的访问。我们可以想象，此类系

统的用户会很高兴看到共享访问可以缩短分析时间，并且，从统计角

度来看，他们的分析工作会分散到不同的时间点，所以互相之间不会

有太多干扰。

尽管如此，现在更可行的是从多个磁盘并行读写数据。

第一个需解决的问题是硬件故障。一旦开始使用多个硬件设施，其

中一个会出故障的概率是非常高的。避免数据丢失的常见做法是复制：

通过系统保存数据的冗余副本，在故障发生时，可以使用数据的另一

份副本。这就是冗余磁盘阵列(RAID)的工作方式。Hadoop的文件系

统HDFS(HadoopDistributedFilesystem)也是一个例子,虽然它采取

的是另一种稍有不同的方法，第二个问题是大部分分析任务需要通过

某种方式把数据合并起来，即从一个磁盘读取的数据可能需要和另外

99个磁盘中读取的数据合并起来能使用。各种不同的分布式系统能

够组合多个来源的数据，但是如何保证正确性是一个非常难的挑战。

MapReduce提供了一个编程模型，其抽象出上述磁盘读写的问题，将其

转换为计算一个由成对键/值组成的数据集。这种模型的具体细节将在

后面的章节讨论。这个计算由两部分组成：MapfllReduceo这两者的

接口就是“整合”之地。就像HDFS一样，MapReduce是内建可靠性这

个功能的。

1.1.2Hadoop的发展简史

Hadoop最初是由ApacheLucene项目的创始人DougCutting开发的文

本搜索库。Hadoop源自2002年的ApacheNutch项目个开源的网

络搜索弓1擎并且也是Lucene项目的一部分。在2002年的时候，Nutch

项目遇到了棘手的难题，该搜索引擎框架无法扩展到拥有数十亿网页

的网格。而就在一年以后的2003年，谷歌公司发布了分布式文件系统

GFS方面的论文，可以解决大规模数据存储的问题。于是，在2004年，

Nutch项目也模仿GFS开发了自己的分布式