hadoop—集群维护手册.docxVIP

Hadoop 部分 启动命令： 停止命令： Hadoop 运行 增加集群的存储量 / 节点 如果只增加集群的存储量，建议增加 Hadoop datanode 节点 步骤： 1、停掉集群包括 Hadoop 和 hbase ，当然也可以不停掉，直接在 hadoop namenode 的配置文件 Slave 里添 加新节点的 host ，别忘了在 host 文件里也要添加新添加的 host 名 2、执行 bin/ 启动集群 3、以下选择一种 1) 如果不手动作平衡，插入的数据将会放在新添加的节点上。以趋于平衡。 2) 如果手动平衡，则 和调用 bin/sHadoop balancer 命令相似，也可加参数 -threshold 5 ( threshold 在使用时，如果在里面没有，我们可以通过在里面配置是平衡阈值，默认是 10%，值越低各节点越平衡，但消耗时间也更长) 在使用时，如果在里面没有 ，我们可以通过在里面配置 配置，那么集群 hdfs 内部默认使用 1M/S 的速度移动数据 (so slowly...) 来加快 balance 的速度最开始我们配置的是 来加快 balance 的速度 最开始我们配置的是 20m/S ，然后结果是导致 job 运行变得不稳定，出现 一些意外的长 map 单元，某些 reduce 时间处理变长 ( 整个集群负载满满的情况下，外加 20m/s 的 balance)，在前天的中国hadoop年会上听淘宝调整的为 10m/s，需要调整后实验，看看情况如何。 另 外再修改参数后，需要在 namenode上运行重启hdfs生效。我们可以通过停掉平衡任务。作完平衡 后，启动hbase，正常。果cluster设置的副本数不为 3(默认)，需要先运行命令hadoop fs - setrep [-R] path ； 进行设置一个文件的副本系数。如果默认为 3则不必。如果执行完平衡以后才改变副本数，会将新加 入到新节点上的所有数据删除。 设置的副本系数只在文件系统写入时有效，并不影响在新添加节点 时，平衡时的副本数； 另外：由于还有hbase数据库，因此，在运行完平衡以后，将hbase下的.META.文件删除（防止出错） 启动hbase，执行 hbase add_table / 表名 来进行 hbase表恢复； Hadoopl 升级 运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备 份（在升级Hadoop前，如果已经存在备份，需要先结束 finalize 它。） 备份下文件，同时要备份下hdfs的文件目录的元数据信息 ： bin/hadoop fsck / -files -blocks -locations bin/hadoop dfs -lsr / bin/hadoop dfsadmin -report 停止所有节点bin/ 在所有节点上重新部署 hadoop并替换conf文件夹下所有文件（就是将原有的更名为然后解压 将中的conf文件替换为中的 conf文件夹） 并且要对照修改中的路径指定是否正确 使用bin/ -upgrade 进行升级（DFS从一个版本升级到另外一个版本的时候， NameNode和 DataNode使用的文件格式有可能会改变。 当你第一次使用新版本的时候， 你要告诉Hadoop去改 变HDFS版本，否则，新版本不会生效 ） 监控升级情况和升级问题处理 开始升级，你可以通过 bin/hadoop dfsadm in -upgradeProgress 命令来查看版本升级的情况。 当然你可以使用 bin/hadoop dfsadm in -upgradeProgress details 来查看更多的详细信息。 当升级过程被阻塞的时候，你可以使用 bin/hadoop dfsadm in -upgradeProgress force 来强制升级继续执行（当你使用这个命令的时候，一定要慎重考虑 ）。 当HDFS升级完毕后，Hadoop依旧保留着旧版本的有关信息， 以便你可以方便的对 HDFS进行降级操作。 可以使用bin/ -rollback 来执行降级操作。 对比现有hdfs的文件目录的元数据信息和升级的差异。 升级完成,Hadoop 一次只保存一个版本的备份 ,当新版本运行几天以后还是没有岀现什么问 题，你就可以使用运行一段时间后 没有问题再执行升级终结操作 bin/hadoop dfsadm in -fin alizeUpgrade 命令把旧版本的备份从系统中删掉了。删除以后 rollback 命令就失效了。 Hdfs Mapreduce Hbase部分 启动命令： 如果一个regionserver 死掉了，可以执行该