《云计算(第二版)》教材配套课件14—第六篇 章 Hadoop：Google云计算的开源实现(三).pptVIP

电子工业出版社《云计算(第二版)》配套课件 解放军理工大学 刘鹏 教授主编 华东交通大学 刘鹏 制作 第6章 Hadoop：Google云计算的开源实现 《云计算（第二版）》购买网址： 当当网 京东商城 姊妹力作《实战Hadoop》购买网址： 当当网 京东商城 提 纲 ? Hadoop简介 ? Hadoop分布式文件系统HDFS ? 分布式数据处理MapReduce ? 分布式结构化数据表HBase ? Hadoop安装 ? HDFS使用 ? HBase安装使用 ? MapReduce编程 HDFS 常用命令 HDFS集群由一个NameNode和多个DataNode组成：NameNode负责管理文件系统的元数据；DataNode负责存储实际的数据 （其中censtos254为namenode） ?1．HDFS管理 DFSAdmin命令支持一些和HDFS管理相关的操作 ?2．安全模式 NameNode在启动时会自动进入安全模式。安全模式的目的是在系统启动时检查各个DataNode上数据块的有效性，同时根据策略对数据块进行必要的复制或删除 ?关闭安全模式 $ bin/hadoop dfsadmin -safemode leave ?把HDFS置于安全模式 $ bin/hadoop dfsadmin –safemode enter ?3.添加节点 ?加入新加节点主机名，再建立到新加节点无密码的SSH连接 ?实验中复制因子为3，部分数据块未达到最小副本数。等待一段时间之后，数据块自动进行了必要的复制 HDFS 常用命令 ?4.节点故障 心跳信号 ?5.负载均衡 重新平衡DataNode上的数据块的分布 $ bin/start-balancer.sh ?命令执行前，DataNode节点上数据的分布情况 ?负载均衡完毕后，DataNode节点上数据的分布情况 HBase的安装配置 （1）安装HBase $ tar –zxvf hbase-0.19.2.tar.gz （2）编辑{HBASE_HOME}/conf/hbase-env.sh，把JAVA_HOME变量设置为JAVA安装的根目录，把HBASE_CLASSPATH设置为HADOOP_CONF_DIR （3）编辑{HBASE_HOME}/conf/hbase-site.xml （4）复制${HADOOP_HOME}/conf/hadoop-site.xml （5）编辑${HBASE_HOME}/conf/regionservers （6）把HBase复制到其他机器上： $ scp –r ~/hbase-0.19.2/ ubuntu2: /home/grid/ $ scp –r ~/hbase-0.19.2/ ubuntu3: /home/grid/ （7）复制${HBASE_HOME}/hbase-0.19.2.jar $ cp ~/hbase-0.19.2/hbase-0.19.2.jar ~/hadoop-0.19.1/lib/ HBase的执行 （1）启动Hadoop $ cd ~/hadoop-0.19.1 $ bin/start-all.sh （2）启动Hbase $ cd ~/hbase-0.19.2/ $ bin/start-hbase.sh （3）进入shell模式进行HBase数据操作 $ bin/hbase shell （4）停止HBase $ bin/stop-hbase.sh （5）停止Hadoop $ cd ~/hadoop-0.19.1 $ bin/stop-all.sh Hbase编程实例 ?启动Eclipse，新建Map/Reduce Project，命名为Proj，在此工程中新建类test，加入代码 ?在Run Configurations选项中选择工作路径为HBASE_HOME ?运行后，可以从控制台看到运行结果 ?通过地址http://ubuntu1:60010可以看到HBase运行的相关信息，表“stu”添加成功 提 纲 ? Hadoop简介 ? Hadoop分布式文件系统HDFS ? 分布式数据处理MapReduce ? 分布式结构化数据表HBase ? Hadoop安装 ? HDFS使用 ? HBase安装使用 ? MapReduce编程 矩阵相乘算法设计 MapReduce程序设计过程 1）key,value对 2）数据输入 3）Mapper阶段 4）Reducer阶段 5）数据输出 2．矩阵相乘（整数矩阵