Kafka集群扩容后Partition迁移与负载均衡实践.pdfVIP

vitopics‑to‑move.json

{“topics”:[{“topic”:“test01”},{“topic”:“test02”}],“version”:1}//所有的topic都写在这里

bin/kafka‑reassgin‑partitions.sh‑‑zookeeper

hadoop03:2181,hadoop04:2181,hadoop05:2181‑‑topics‑to‑move‑json‑file

topics‑to‑move.json‑‑broker‑list“5,6”‑‑generate//所有的包括新加入的broker机器

都写在这里,就是说把所有的partition均匀地分散在各个broker上,包括新进来的broker

此时会生成一个迁移方案，可以保存到一个文件里去：expand‑cluster‑reassignment.jsonn

bin/kafka‑reassign‑partitions.sh‑‑zookeeperhadoop01:2181,hadoop02:2181,hadoop03:2181‑‑重新

分配‑json‑文件expand‑cluster‑reassignment.json‑‑execute

bin/kafka‑reassign‑partitions.sh‑‑zookeeperhad