kafka生产者消息投递分区？消费者选择分区？.docxVIP

kafka生产者消息投递分区？消费者选择分区？ 我们晓得，生产者发送消息到主题，消费者订阅主题（以消费者组的名义订阅），而主题下是分区，消息是存储在分区中的，所以现实上生产者发送消息到分区，消费者则从分区读取消息，那么，这里问题来了，生产者将消息投递到哪个分区？消费者组中的消费者实例之间是怎样安排分区的呢？接下来，就围围着这两个问题一探到底。 2. 主题的分区数设置 在perties配置文件中可以指定一个全局的分区数设置，这是对每个主题下的分区数的默认设置，默认是1。 当然每个主题也可以本人设置分区数量，假如创建主题的时候没有指定分区数量，则会使用perties中的设置。 bin/kafka-topics.sh?--zookeeper?localhost:2181?--create?--topic?my-topic?--partitions?2?--replication-factor?1 在创建主题的时候，可以使用**--partitions**选项指定主题的分区数量 [root@localhost?kafka_2.11-2.0.0]#?bin/kafka-topics.sh?--describe?--zookeeper?localhost:2181?--topic?abcTopic:abc???????PartitionCount:2????????ReplicationFactor:1?????Configs:????????Topic:?abc??????Partition:?0????Leader:?0???????Replicas:?0?????Isr:?0????????Topic:?abc??????Partition:?1????Leader:?0???????Replicas:?0?????Isr:?0 3. 生产者与分区 首先提出一个问题：生产者将消息投递到分区有没有规律？假如有，那么它是如何打算一条消息该投递到哪个分区的呢？ 3.1. 默认的分区策略 The default partitioning strategy: If a partition is specified in the record, use it If no partition is specified but a key is present choose a partition based on a hash of the key If no partition or key is present choose a partition in a round-robin fashion ernals.DefaultPartitioner 默认的分区策略是： 假如在发消息的时候指定了分区，则消息投递到指定的分区 假如没有指定分区，但是消息的key不为空，则基于key的哈希值来选择一个分区 假如既没有指定分区，且消息的key也是空，则用轮询的方式选择一个分区 /**?*?Compute?the?partition?for?the?given?record.?*?*?@param?topic?The?topic?name?*?@param?key?The?key?to?partition?on?(or?null?if?no?key)?*?@param?keyBytes?serialized?key?to?partition?on?(or?null?if?no?key)?*?@param?value?The?value?to?partition?on?or?null?*?@param?valueBytes?serialized?value?to?partition?on?or?null?*?@param?cluster?The?current?cluster?metadata?*/public?int?partition(String?topic,?Object?key,?byte[]?keyBytes,?Object?value,?byte[]?valueBytes,?Cluster?cluster)?{????List?partitions?=?cluster.partitionsForTopic(topic);????int?numPartitions?=?partitions.size();????if?(keyBytes?==?null)?{????????int?nextValue?=?nextValue(topic);????????List?availablePartitions?=?cluster.availablePartitionsForTopic(topic);????????