kafkaamp;mafkaClient开发及其实践.pdf

kafka mafka client 开发与实践 李志涛 lizhitao@ 平台业务部移动后台组 1 kafka介绍 2 kafka架构 稳定性 3 3 性能优化 4 性能测试 5 监控 6 mafka client开发 什么是kafka kafka是最初由Linkedin公司开发，使⽤Scala语⾔编写,运⾏在jvm 虚拟 机上，Kafka是⼀个分布式、分区的、多副本的、多订阅者，基于 zookeeper协调的分布式⽇志系统(分布式MQ系统) ，常⻅可以⽤于 web/nginx ⽇志，搜索⽇志，监控⽇志，访问⽇志，消息服务等等， Linkedin于2010年贡献给了Apache基⾦会，成为旗下顶级开源项⺫。 整体设计的⼏个特点 (1) 默认使⽤持久化 (2) 优先考虑吞吐率 (3) 信息的消费状态在 consumer 端记录⽽不是server 端. (4) kafka 完全是分布式的, produces broker consumer 都认为是分布式的. 适⽤场景 适合场景 push发送 ⾼吞吐量 可以作为⼤缓冲区使⽤ Hadoop或传统的数据仓库中存储消息⽤于离线分析 ngin ⽇志收集 不适合场景： 类似⼤象，对低延时，实时性要求⽐较严格，单条消息延时⾏ 1 kafka介绍 2 kafka架构 稳定性 3 3 性能优化 4 性能测试 5 监控 6 mafka client开发 Kafka 架构1 Producer 1 Producer 2 Producer 3 Zookeeper broker 1 broker 2 broker 3 Consumer 1 Consumer 2 Consumer 3 Kafka 架构2 Producer 1 Producer 2 Topic1 Topic2 Zookeeper broker 1 broker 2 broker 3 broker 4 push-group Consumer 1 Consumer 2 Consumer 3 Kafka 架构3 关键特⾊ Producer 1 Producer 2 • 可伸缩架构 • ⾼吞吐量 • consumer ⾃动负载均衡 • ⽀持集群多副本 Broker 1 Broker 2 Broker 3 Broker 4 topic1-part1