云计算第二章2-7教学ppt.pptVIP

HDFS 常用命令 HDFS 常用命令 HDFS 基准测试 HBase的安装配置 HBase的执行 Hbase编程实例 矩阵相乘算法设计 编程实现 编程实现 编程实现 习题 阅读精选 第6章 Hadoop：Google云计算的开源实现 提 纲 ? Hadoop简介 ? Hadoop分布式文件系统HDFS ? 分布式数据处理MapReduce ? 分布式结构化数据表HBase ? Hadoop安装 ? HDFS使用 ? HBase安装使用 ? MapReduce编程 HDFS集群由一个NameNode和多个DataNode组成：NameNode负责管理文件系统的元数据；DataNode负责存储实际的数据 （其中censtos254为namenode） ?1．HDFS管理 DFSAdmin命令支持一些和HDFS管理相关的操作 ?2．安全模式 NameNode在启动时会自动进入安全模式。安全模式的目的是在系统启动时检查各个DataNode上数据块的有效性，同时根据策略对数据块进行必要的复制或删除 ?关闭安全模式 $ bin/hadoop dfsadmin -safemode leave ?把HDFS置于安全模式 $ bin/hadoop dfsadmin –safemode enter ?3.添加节点 ?加入新加节点主机名，再建立到新加节点无密码的SSH连接 ?实验中复制因子为3，部分数据块未达到最小副本数。等待一段时间之后，数据块自动进行了必要的复制 ?4.节点故障 心跳信号 ?5.负载均衡 重新平衡DataNode上的数据块的分布 $ bin/start-balancer.sh ?命令执行前，DataNode节点上数据的分布情况 ?负载均衡完毕后，DataNode节点上数据的分布情况 TestDFSIO用来测试HDFS的I/O性能 bin/hadoop jar $HADOOP_HOME/hadoop-0.20.2-test.jarTestDFSIO –write –nrFile 20 –filesize 200 ?如果eclipse已经安装了hadoop-0.20.2-eclipse-plugin.jar插件包，那么可以在eclipse下查看结果 ?基准测试后，删除所有生成的文件 % bin/hadoop jar $HADOOP_HOME/hadoop-0.20.2-test.jar TestDFSIO –clean 提 纲 ? Hadoop简介 ? Hadoop分布式文件系统HDFS ? 分布式数据处理MapReduce ? 分布式结构化数据表HBase ? Hadoop安装 ? HDFS使用 ? HBase安装使用 ? MapReduce编程 （1）安装HBase $ tar –zxvf hbase-0.19.2.tar.gz （2）编辑{HBASE_HOME}/conf/hbase-env.sh，把JAVA_HOME变量设置为JAVA安装的根目录，把HBASE_CLASSPATH设置为HADOOP_CONF_DIR （3）编辑{HBASE_HOME}/conf/hbase-site.xml （4）复制${HADOOP_HOME}/conf/hadoop-site.xml （5）编辑${HBASE_HOME}/conf/regionservers （6）把HBase复制到其他机器上： $ scp –r ~/hbase-0.19.2/ ubuntu2: /home/grid/ $ scp –r ~/hbase-0.19.2/ ubuntu3: /home/grid/ （7）复制${HBASE_HOME}/hbase-0.19.2.jar $ cp ~/hbase-0.19.2/hbase-0.19.2.jar ~/hadoop-0.19.1/lib/ （1）启动Hadoop $ cd ~/hadoop-0.19.1 $ bin/start-all.sh （2）启动Hbase $ cd ~/hbase-0.19.2/ $ bin/start-hbase.sh （3）进入shell模式进行HBase数据操作 $ bin/hbase shell （4）停止HBase $ bin/stop-hbase.sh （5）停止Hadoop $ cd ~/hadoop-0.19.1 $ bin/stop-all.sh ?启动Eclipse，新建Map/Reduce Project，命名为Proj，在此工程中新建类test，加入代码 ?在Run Conf