hadoop—集群维护基础手册.docVIP

Hadoop部分 开启命令：start-all.sh 停止命令：stop-all.sh Hadoop运行 增加集群存放量/节点 假如只增加集群存放量，提议增加Hadoop datanode节点。 步骤： 1、停掉集群包含Hadoop和hbase，当然也能够不停掉，直接在hadoop namenode配置文件Slave里添加新节点host，别忘了在host文件里也要添加新添加host名。 2、实施bin/start-all.sh开启集群 3、以下选择一个 假如不手动作平衡，插入数据将会放在新添加节点上。以趋于平衡。 假如手动平衡，则 start-balancer.sh和调用bin/sHadoop balancer命令相同，也可加参数 -threshold 5（threshold 是平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长）。 在使用start-balancer.sh时，假如在hdfs-site.xml里面没有配置dfs.balance.bandwidthPerSec，那么集群hdfs内部默认使用1M/S速度移动数据(so slowly...)，我们能够经过在hdfs-site.xml里面配置dfs.balance.bandwidthPerSec来加紧balance速度。 最开始我们配置是20m/S ，然后结果是造成job运行变得不稳定，出现部分意外长map单元，一些reduce时间处理变长(整个集群负载满满情况下，外加20m/sbalance)，在前天中国hadoop年会上听淘宝调整为10m/s，需要调整后试验，看看情况怎样。 另外再修改dfs.balance.bandwidthPerSec参数后，需要在namenode上运行stop-dfs.sh start-dfs.sh重启hdfs生效。我们能够经过stop-balancer.sh停掉平衡任务。作完平衡后，开启hbase，正常。 果cluster设置副本数不为3（默认），需要先运行命令hadoop fs –setrep [-R] path ； 进行设置一个文件副本系数。假如默认为3则无须。假如实施完平衡以后才改变副本数，会将新加入到新节点上全部数据删除。 dfs.replication设置副本系数只在文件系统写入时有效，并不影响在新添加节点时，平衡时副本数； 另外：因为还有hbase数据库，所以，在运行完平衡以后，将hbase下.META.文件删除（预防犯错），开启hbase，实施hbase org.jruby.Main add_table /表名 来进行hbase表恢复； Hadoop1升级 1.运行dfsadmin -upgradeProgress status 检验是否存在备份 假如是第一次升级 就不存在备份(在升级Hadoop前，假如已经存在备份，需要先结束 finalize 它。) 2.备份node.dir下文件,同时要备份下hdfs文件目录元数据信息: bin/hadoop fsck / -files -blocks -locations dfs-v-old-fsck-1.log bin/hadoop dfs -lsr / dfs-v-old-lsr-1.log bin/hadoop dfsadmin -report dfs-v-old-report-1.log ? 3.停止全部节点 bin/stop-all.sh 4.在全部节点上重新布署hadoop 并替换conf文件夹下全部文件(就是将原有hadoop-0.19.1更名为hadoop-0.19.1-oldverstion,然后解压hadoop-0.19.2.tar.gz 将0.19.2中conf文件替换为0.19.1中conf文件夹) 而且要对照修改hadoop-site.xml中路径指定是否正确 5.使用 bin/start-dfs.sh -upgrade 进行升级(DFS从一个版本升级到另外一个版本时候，NameNode和DataNode使用文件格式有可能会改变。当你第一次使用新版本时候，你要告诉Hadoop 去改变HDFS版本,不然，新版本不会生效) ? 6.监控升级情况和升级问题处理 开始升级，你能够经过 bin/hadoop dfsadmin -upgradeProgress 命令来查看版本升级情况。 当然你能够使用 bin/hadoop dfsadmin -upgradeProgress details 来查看更多具体信息。 当升级过程被阻塞时候，你能够使用 bin/hadoop dfsadmin -upgradeProgress force 来强制升级继续实施(当你使用这个命令时候，一定要慎重考虑)。 ? 当HDFS升级完成后，Hadoop依旧保留着旧版本