机房搬迁,你的hdfs集群数据要从一个机房迁移到另外一个机房
(1)带宽:带宽过大则影响正常任务的执行,带宽过小则迁移过慢,需要限流恒定速度
你肯定是得不断的从机房A的集群里的datanode上数据,然后发送到机房B的datanode
上去,在这个过程中,你必须得进行限流,尤其是对机房A的集群读数据以及发送数据的限
流
机房A此时可能还在被spark、hive作业在运行,你数据迁移的任务不能占用网络带宽
过大,线路
(2)分布式迁移:分布式方式迁移数据,效率更高
假设机房A的集群部署在100台机器上,你是直接运行分布式任务在100
原创力文档

文档评论(0)