跨机房HDFS集群数据迁移方案考虑因素.pdf

跨机房HDFS集群数据迁移方案考虑因素.pdf

机房搬迁,你的hdfs集群数据要从一个机房迁移到另外一个机房

(1)带宽:带宽过大则影响正常任务的执行,带宽过小则迁移过慢,需要限流恒定速度

你肯定是得不断的从机房A的集群里的datanode上数据,然后发送到机房B的datanode

上去,在这个过程中,你必须得进行限流,尤其是对机房A的集群读数据以及发送数据的限

机房A此时可能还在被spark、hive作业在运行,你数据迁移的任务不能占用网络带宽

过大,线路

(2)分布式迁移:分布式方式迁移数据,效率更高

假设机房A的集群部署在100台机器上,你是直接运行分布式任务在100

文档评论(0)

1亿VIP精品文档

相关文档