Kafka客户端内存管理与消息批处理机制.pdfVIP

如何将消息写入内存缓冲里面，先大致浏览一下里面的流程，然后再逐个击破一点一点的去

看他，这个里面一定要关注的一点就是说，kafka客户端设计是如何管理自己的内存的，如

何基于内存里的数据结构构造一个缓冲区

如何基于缓冲区去承载写入进去的消息，以及batch批处理的机制，消息聚合成batch的机

制，整个这套机制是如何来实现的

KafkaProducer设计的理念就是多线程并发安全的，可以让多个线程并发的来调用

KafkaProducer还保证数据不会错乱的，所以说是可能会有多个线程并发的来调用他的send()

方法的

他会从内存缓冲区里获取一个分区对应的Deque，这个Deque里是一个队列，放了很多的

Batch，就是这个分区对应的多个batch，CopyOnWrite这个东西，我们在并发课程里，讲解

过CopyOnWriteArrayList

就是说，适合的是读多写少的场景，每次更新的时候，都是copy一个副本，在副本里来更

新，接着更新整个副本，好处就在于说写和读的操作互相之间不会有长时间的锁互斥，写的

时候不会阻塞读

坏处在于说对内存的占用是很大的，适合的是读多写少的场景，大量读的场景就直接基于快

照副本来进行的，CoypOnWriteMap也是类似的思路，一个分区创建一个Deque，其实

是频次很低的写行为