Kafka利用顺序磁盘写与OS缓存实现高吞吐低延迟消息处理.pdfVIP

batch微批处理，高吞吐高延迟，kafka相反，高吞吐低延迟

直接写入os的pagecache中

文件，kafka仅仅是追加数据到文件末尾，磁盘顺序写，性能极高，几乎跟写内存是一样高

的。磁盘随机写，你要随机在文件的某个位置修改数据，这个叫做磁盘随机写，性能是很低

的，磁盘顺序写，仅仅追加数据到文件末尾

而且写磁盘的方式是顺序写，不是随机写，性能跟内存写几乎一样。就是仅仅在磁盘文件的

末尾追加写，不能在文件随机位置写入

假设基于上面说的oscache写+磁盘顺序写，0.01毫秒，低延迟，高吞吐，每毫秒可以处

理100条数据，每秒可以处理10万条数据，不需要依托类似sparkstraeming那种batch微

批处理的机制

正是依靠了这个的写入性能，单机可以做到每秒几十万条消息写入Kafka

这种方式让kafka的写性能极高，最大程度减少了每条数据处理的时间开销，反过来就大幅

度提升了每秒处理数据的吞吐量，一般kafka部署在机上，单机每秒写入几万到几十万

条消息是没问题的

这种方式是不是就兼顾了低延迟和高吞吐两个要求，尽量把每条消息的写入性能压榨到极

致，就可以实现低延迟的写入，同时对应的每秒的吞吐量自然就提升了

所以这是kafka非常的一个底层机制

而且这里很关键的一点，比如ra