CN113722276B 日志数据处理方法、系统、存储介质及电子设备 （腾讯科技（深圳）有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN113722276B(45)授权公告日2025.01.10

(21)申请号202111073633.1

(22)申请日2021.09.14

(65)同一申请的已公布的文献号申请公布号CN113722276A

(43)申请公布日2021.11.30

(73)专利权人腾讯科技(深圳)有限公司

地址518057广东省深圳市南山区高新区

科技中一路腾讯大厦35层

(72)发明人李达统陈云云曾楚伟李斌

(74)专利代理机构广州三环专利商标代理有限公司44202

专利代理师熊永强贾允

(51)Int.CI.

GO6F16/13(2019.01)

GO6F16/14(2019.01)

GO6F16/172(2019.01)

GO6F16/18(2019.01)

GO6F16/182(2019.01)

(56)对比文件

CN105207806A,2015.12.30

CN112328595A,2021.02.05审查员徐军

权利要求书2页说明书12页附图5页

(54)发明名称

日志数据处理方法、系统、存储介质及电子

设备

(57)摘要

CN113722276B本申请实施例公开了日志数据处理方法、系统、存储介质及电子设备，该方法基于目标设备产生的日志记录，得到对应的日志文件，该目标设备为运行目标业务进程的任一业务处理设备，目标业务进程为运行有目标业务的任一进程，每一日志记录均包括业务请求标识；对各业务处理设备的日志记录进行基于业务请求标识的聚合，得到第一索引文件，该第一索引文件用于记录携带有目标业务请求标识的日志记录的存储位置，该目标业务请求标识为各业务处理设备的日志记录中的任一业务请求标识。本申请可以降低日志记录入库的资源消耗，提升查询效率。本申请可以应用于消息交互、多媒体应用、智慧交通或

CN113722276B

基于目标设备中产生的日志记录，得到上述目标设备对应的

日志文件，上述目标设备为运行目标业务进程的任一上述业

务处理设备，上述目标业务进程为运行有目标业务的任一进

程，每一上述日志记录均包括业务请求标识

对各上述业务处理设备产生的日志记录进行基于业务请求标

识的聚合，得到第一索引文件，上述第一索引文件用于记录

携带有目标业务请求标识的日志记录的存储位置，上述目标

业务请求标识为各上述业务处理设备产生的日志记录中的任

一业务请求标识

S101

S102

CN113722276B权利要求书1/2页

2

1.一种日志数据处理方法，其特征在于，所述方法应用于日志数据处理系统，所述日志数据处理系统包括多个业务处理设备、分布式文件系统和多个查询执行设备，每一所述业务处理设备对应唯一的日志记录设备，所述方法包括：

目标设备对应的日志记录设备将所述目标设备产生的日志记录，存储在所述分布式文件系统中与所述目标设备对应的独占的日志文件，使得所述日志文件本身产生的目录结构相当于用于区分不同设备的索引，所述目标设备为运行目标业务进程的任一所述业务处理设备，所述目标业务进程为运行有目标业务的任一进程，每一所述日志记录均包括业务请求标识；

对各所述业务处理设备产生的日志记录进行基于业务请求标识的聚合，得到第一索引文件，所述第一索引文件用于记录携带有目标业务请求标识的日志记录的存储位置，所述目标业务请求标识为各所述业务处理设备产生的日志记录中的任一业务请求标识；

对所述日志记录进行基于时间的聚合，得到所述目标设备的第二索引文件，所述第二索引文件用于记录在第一目标时间区间内产生的日志记录的存储位置，所述第一目标时间区间为根据第一时间分段策略确定出的任一时间区间；关联所述第二索引文件以及所述日志文件；

目标查询执行设备根据日志查询请求生成日志过滤条件，将所述日志过滤条件发送至所述分布式文件系统；所述分布式文件系统根据所述日志过滤条件进行日志记录的过滤，得到查询结果，所述目标查询执行设备为所述多个查询执行设备中的任一查询执行设备；

所述日志数据处理系统还包括日志第一聚合设备和日志第二聚合设备，所述方法还包括：所述日志第一聚合设备分时间段对各所述业务处理设备产生的日志记录进行基于业务请求标识的聚合，得到每一时间段对应的第一索引临时文件，以及将每一所述第一索引临时文件发送至日志第二聚合设备；所述日志第