云计算平台 Hadoop的部署.pptVIP

conf/core-site.xml 添加 Hdfs://node50:9000，node50是主节点名 conf/mapred-site.xml 添加mapred.job.tracker conf/slaves 添加slaves机器名 conf/masters 添加secondary master 同步hadoop文件夹 把hadoop文件夹复制到slaves节点的相同位置 $scp –r hadoop node51:~ $scp –r hadoop node52:~ 目录 Hadoop简介 HDFS (Hadoop Distributed File System) MapReduce Hadoop的部署 预备条件：ssh，jvm 参数设置：conf/* 启动hdfs和mapreduce 运行MapReduce任务 Hadoop的命令bin/* dfs shell guide: /common/docs/r0.20.2/hdfs_shell.html hdfs的格式化(format) 格式化hdfs $hadoop namenode -format 启动hdfs和mapreduce Hdfs的web界面 Jobtracker的web界面 目录 Hadoop简介 HDFS (Hadoop Distributed File System) MapReduce Hadoop的部署 预备条件：ssh，jvm 参数设置：conf/* 启动hdfs和mapreduce 运行MapReduce任务 准备WordCount.java /common/docs/r0.20.2/mapred_tutorial.html 把WordCount.java放到主节点的家目录下 编译WordCount.java，并打包生成的文件到wordcount.jar 准备输入文件夹 在hdfs中建立文件夹input 本地建立file01和file02，并把它上传到hdfs的input文件夹中 运行WordCount 查看结果 Reference Google papers: MapReduce: /papers/mapreduce.html GFS: /papers/gfs.html Hadoop links： / /common/docs/r0.20.2/mapred_tutorial.html Hadoop Wins Terabyte Sort Benchmark:? One of Yahoos Hadoop clusters sorted 1 terabyte of data in 209 seconds, which beat the previous record of 297 seconds in the annual general purpose (Daytona)?terabyte sort benchmark. This is the first time that either a Java or an open source program has won. 同时也是Nutch, Lucene的负责人 09年8月离开yahoo！，加入Cloudera There are 36 data centers in all—19 in the U.S., 12 in Europe, 3 in Asia, and one each in Russia and South America.? Baidu - the leading Chinese language search engine Hadoop used to analyze the log of search and do some mining work on web page database We handle about 3000TB per week Our clusters vary from 10 to 500 nodes Hypertable is also supported by Baidu 容错性的保证是用校验码或者用冗余，HDFS是用冗余 Commodity hardware 普通pc，不是大型的服务器 可扩展，最重要的特性：访问量的增加，传统的架构的做法…可扩咱架构的做法… 重点介绍的概念： Metadata Metadata和data之间的同步 1、保证metadata和data的一致 2、namenode用这样的机制来探测datanode是dead的还是alive，并在发现datanode死机的时候重新生成副本 先读NameNode，获得数据块的信息，再去读相应的DataNode中的数据。 避免所有数据都从NameN