Kafka集群配置与运维优化指南.pdfVIP

10亿数据，6w/s的吞吐量，12TB的数据量

6台机

硬盘：2块机械硬盘，每块1TB，7200转

内存：64GB，JVM分配6G，剩余的给oscache

CPU：16核

网络：千兆网卡

下周的课，就可以来玩儿一下集群的管理和，加broker机器进去，给topic增加partition，

给partition增加副本，对kafka集群进行升级，诸如此类的一些日常的运维管理的操作，对

整个集群从各个角度如何来进行

一周的课，把生产和消费的客户端的机制、原理以及一般如何使用可以说一下

架构都跑通了以后，咱们就可以来玩儿一下kafka生产调优的实践，生产环境常见的一些问

题，kafka的数据保证顺序，如何保证100%数据是零丢失的，如何解决线上百万数据积压的

一个问题，还有就是如何对生产端、消费端、broker端进行吞吐量、性能、延迟的调优，提

升整体kafka集群的读和写的性能

用几周的课，来学一下kafka的源码设计，把源码级别的东西给扣一下，可以让大家以后出

去在面试，或者工作里用到kafka的时候，就可以很好的从底层的角度来面试，或者是解决

自己日常的一些问题

三个端的数据，用户行为日志、数据库binlog、竞对数据爬取，写入到flume和kafka里

面去