成果1hadoop介绍hdfs和mapreduce工作原理.pptxVIP

Hadoop入门及应用 讲师：Robby 本节课的主要内容 Hadoop介绍 HDFS介绍 HDFS架构 Hadoop要解决2个问题 海量数据的存储 -- HDFS 海量数据的分析 -- MapReduce Hadoop的历史 始于2002年的apache项目Nutch 2003年Google发表了关于GFS的论文 2004年Nutch的开发者开发了NDFS 2004年Google发表了关于MapReduce的论文 2005年MapR被引入了NDFS 2006年改名为Hadoop，NDFS的创始人加入Yahoo，Yahoo成立了一个专门的小组发展Hadoop 学习Hadoop的目的 Hadoop是IT行业一个新的热点，是云计算的一个具体实现 Hadoop本身具有很高的技术含量，是IT工程师学习的首选 Hadoop是什么? Hadoop = The Hadoop projects Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie HDFS设计目标 Very large files Streaming data access write-once, read-many-times Commodity hardware HDFS不适合的场景 Low-latency data access Lots of small files Multiple writers, arbitrary file modifications HDFS架构（1） a.txt 600G 在Hadoop中，一个文件被划分成大小固定的多个文件块，分布的存储在集群中的 节点中 HDFS架构（2） 同一个文件块在不同的节点中有多个副本 HDFS架构（3） 我们需要一个集中的地方保存文件的分块信息 /home/hdfs/a.txt.part1,3,(dn1,dn2,dn3) /home/hdfs/a.txt.part2,3,(dn2,dn3,dn4) /home/hdfs/a.txt.part3,3,(dn6,dn11,dn28) … HDFS架构（4） HDFS架构（5） Block：一个文件分块，默认64M NameNode：保存整个文件系统的目录信息，文件信息以及文件相应的分块信息。 DataNode：用于存储Blocks HDFS的HA策略：NameNode一旦宕机，整个文件系统将无法工作。 如果NameNode中的数据丢失，整个文件系统也就丢失了。 2.x开始，HDFS支持NameNode的active-standy模式 MapReduce原理(1) 问题： 求出以下数组当中最大的数 1，3，23，3，4，18，2，8，10，16，7，5 int Max(int a[], n) { int m=0; for(int i=0; in; i++) if(ma[i]) m=a[i]; return m; } MapReduce原理(2) MapReduce是一种编程模型，用于大规模数据集的并行计算。 1，3，23 3，4，18 2，8，10 16，7，5 23 18 10 16 23 Map Reduce Map Map Map 本课程版权归北风网所有 欢迎访问我们的官方网站