北京理工大学计算机学院樊博.pptVIP

北京理工大学 计算机学院 樊博 Hadoop简介 Hadoop概述 HDFS简介 Map-Reduce简介 Hadoop应用实例 提纲 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力来实现高速运算和存储。 在Hadoop中实现了Google的GFS和Map-Reduce算法，使Hadoop成为了一个分布式的计算平台。 需要注意的是，Hadoop并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。 Hadoop概述 作为系统的底层，Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了POSIX的要求，这样可以流的形式访问（streaming access）文件系统中的数据。 Hadoop概述 Hadoop Distributed File System (Hadoop分布式文件系统) 是一个master/slave的结构，就通常的部署来说