基于SSD的Kafka应用层缓存架构设计与实现.docxVIP

? ? 基于SSD的Kafka应用层缓存架构设计与实现 ? ? ? Kafka在美团数据平台承担着统一的数据缓存和分发的角色，针对因PageCache互相污染，进而引发PageCache竞争导致实时作业被延迟作业影响的痛点，美团基于SSD自研了Kafka的应用层缓存架构。本文主要介绍了该架构的设计与实现，主要包括方案选型，与其他备选方案的比较以及方案的核心思考点等，最后介绍该方案与其他备选方案的性能对比。 Kafka在美团数据平台的现状 Kafka出色的I/O优化以及多处异步化设计，相比其他消息队列系统具有更高的吞吐，同时能够保证不错的延迟，十分适合应用在整个大数据生态中。 目前在美团数据平台中，Kafka承担着数据缓冲和分发的角色。如下图所示，业务日志、接入层Nginx日志或线上DB数据通过数据采集层发送到Kafka，后续数据被用户的实时作业消费、计算，或经过数仓的ODS层用作数仓生产，还有一部分则会进入公司统一日志中心，帮助工程师排查线上问题。 目前美团线上Kafka规模： 集群规模：节点数达6000+，集群数100+。 集群承载：Topic数6万+，Partition数41万+。 处理的消息规模：目前每天处理消息总量达8万亿，峰值流量为1.8亿条/秒 提供的服务规模：目前下游实时计算平台运行了3万+作业，而这其中绝大多数的数据源均来自Kafka。 Kafka线上痛点分