CN120123108A kafka存算分离的数据处理方法及装置 （富盛科技股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120123108A

(43)申请公布日2025.06.10

(21)申请号202510616765.6

(22)申请日2025.05.14

(71)申请人富盛科技股份有限公司

地址100160北京市丰台区南四环西路188

号十区6号楼

(72)发明人王珣陆阳袁娟

(74)专利代理机构北京慧加伦知识产权代理有限公司16035

专利代理师孔令君

(51)Int.Cl.

G06F9/50(2006.01)

G06F9/54(2006.01)

权利要求书3页说明书20页附图2页

(54)发明名称

kafka存算分离的数据处理方法及装置

(57)摘要

CN120123108A本申请实施例提供一种kafka存算分离的数据处理方法及装置，通过构建多层数据处理架构，包括网络通信、任务分发、处理调度和存储四个层次。通过预写日志区与主存储区的分层设计实现冷热数据分离，结合副本管理器、协调器和负载预测器实现系统资源的智能调度。采用自适应压缩算法和校验机制保证数据传输效率和完整性，创建消息缓存区存储热点数据，基于消息位点实现冷热数据的灵活访问。该方法有效解决了传统技术在存算耦合、存储效率和负载均衡等方面的不足，显著提升了消息队列系统的性能和

CN120123108A

CN