06_流式计算基础_第2天(Kafka负载均衡、Kafka自定义Partition、Kafk文件存储机制).docx

课程介绍 课程名称： Kafka 技术增强 注：学习本课程请先学习 Kafka 基础 课程目标： 通过本模块的学习，能够掌握 Kafka 的负载均衡、 Producer 生产数据、 Kafka 文件存储 机制、 Kafka 自定义 partition 课程大纲： 1 、 Kafka 整体结构图 2 、 Consumer 与 topic 关系 3 、 Kafka Producer 消息分发 4 、 Consumer 的负载均衡 5 、 Kafka 文件存储机制 课程内容 1 、Kafka 整体结构图 Kafka 名词解释和工作方式 Producer ：消息生产者，就是向 kafka broker 发消息的客户端。 Consumer ：消息消费者，向 kafka broker 取消息的客户端 Topic ：咋们可以理解为一个队列。 Consumer Group (CG)：这是 kafka 用来实现一个topic 消息的广播(发给所有的 consumer) 和单播(发给任意一个 consumer)的手段。一个 topic 可以有多个 CG 。topic 的消息会 复制(不是真的复制，是概念上的)到所有的 CG，但每个 partion 只会把消息发给该 CG 中的一个 consumer。如果需要实现广播， 只要每个