云计算第二章2-5HadoopGoogle云计算的开源实现.pptVIP

Hadoop简介 Hadoop简介 Hadoop简介 设计前提与目标 体系结构 保障可靠性的措施 保障可靠性的措施 保障可靠性的措施 提升性能的措施 访问接口 逻辑模型 实现机制 逻辑模型 物理模型 子表服务器 主服务器 元数据表 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Linux系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop 在Windows系统中安装Hadoop HDFS 常用命令 HDFS 常用命令 HDFS 基准测试 HBase的安装配置 HBase的执行 Hbase编程实例 矩阵相乘算法设计 编程实现 编程实现 编程实现 习题 * * * * * * * * （3）Hadoop运行 （a）格式化分布式文件系统 $ bin/hadoop namenode –format （b）启动Hadoop守护进程 $ bin/start-all.sh 成功执行后将会在本机上启动NameNode、DataNode、JobTracker、TaskTracker和Secondary NameNode 5个新的Java进程 （c）运行WordCount实例 $ bin/hadoop dfs –copyFromLocal input in $ bin/hadoop jar hadoop-mapred-examples-0.20.2.jar wordcount in out 查看Hadoop分布式文件系统上数据处理的结果 $ bin/hadoop dfs -cat out/* 把输出文件从Hadoop分布式文件系统复制到本地文件系统查看 $ bin/hadoop dfs -get out output $ cat output/* （d） 停止Hadoop守护进程。最后需要停止Hadoop守护进程 $ bin/stop-all.sh 3）完全分布式模式 （1）配置NameNode和DataNode （2）在所有的机器上建立相同的用户grid $ useradd -m grid $ passwd grid （3）SSH配置 在所有机器上建立.ssh目录 $ mkdir .ssh 在ubuntunamenode上生成密钥对 $ ssh-keygen -t rsa 配置ubuntunamenode的/etc/hosts ubuntudata1和ubuntudata2的hosts配置 （3）SSH配置 然后一直按【Enter】键，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中 $cd ~/.ssh $cp id_rsa.pub authorized_keys $scp authorized_keys ubuntudata1:/home/grid/.ssh $scp authorized_keys ubuntudata2:/home/grid/.ssh 最后进入所有机器的.ssh目录，改变authorized_keys文件的许可权限 $chmod 644 authorized_keys （4）在所有机器上配置Hadoop 在ubuntunamenode上配置 （a）编辑core-site.xml、hdfs-site.xml和mapred-site.xml （b）编辑conf/masters，修改为master的主机名，每个主机名一行，此外即为ubuntun