如何移动Kafka部分分区的数据-过往记忆.PDFVIP

如何移动Kafka部分分区的数据 Spark大数据博客 - 如何移动Kafka部分分区的数据 在 《Kafka集群扩展以及重新分布分区》 文章中我们介绍了如何重新分布分区，在那里面我们基本上把所有的分区全部移动了，其实我们 完全没必要移动所有的分区，而移动其中部分的分区。比如我们想把Broker 1与Broker 7上面的分区数据互换，如下图所示： 可以看出，只有Broker 1与Broker 7上面的分区做了移动。来看看移动分区之前各个分区以及Leader分布情况： [iteblog@ kafka]$ ./bin/kafka-topics.sh --topic iteblog --describe \ --zookeeper Topic:iteblog PartitionCount:7 ReplicationFactor:2 Configs: Topic: iteblog Partition: 0 Leader: 1 Replicas: 1,4 Isr: 1,4 Topic: iteblog Partition: 1 Leader: 7 Replicas: 7,3 Isr: 3,7 Topic: iteblog Partition: 2 Leader: 5 Replicas: 5,7 Isr: 5,7 Topic: iteblog Partition: 3 Leader: 6 Replicas: 6,1 Isr: 1,6 Topic: iteblog Partition: 4 Leader: 4 Replicas: 4,2 Isr: 4,2 Topic: iteblog Partition: 5 Leader: 2 Replicas: 2,5 Isr: 5,2 Topic: iteblog Partition: 6 Leader: 3 Replicas: 3,6 Isr: 3,6 将Broker 1与Broker 7上面的分区互换，我们配置了以下的replica计划： { version: 1, partitions: [ { topic: iteblog, partition: 0, replicas: [ 7, 1 / 4 如何移动Kafka部分分区的数据 Spark大数据博客 - 4 ] }, { topic: iteblog, partition: 1, replicas: [ 1, 3 ] }, { topic: iteblog, partition: 3, replicas: [ 6, 7 ] }, { topic: iteblog, partition: 2, replicas: [ 5, 1 ] } ] } 可以看到只涉及到Broker 1与Broker 7上面的分区，将上面的Json数据保存到iteblog.json文件里面，然后执行它： [iteblog@ kafka]$ bin/kafka-reassign-partitions.sh \ --zookeeper \ --reassignment-json-file iteblog.json --execute Current partition repl