CN107133329-CN201710321319-数据处理方法、数据处理装置及存储介质.pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 107133329 A (43)申请公布日 2017.09.05 (21)申请号 201710321319.8 (22)申请日 2017.05.09 (71)申请人 腾讯科技（深圳）有限公司 地址 518000 广东省深圳市南山区高新区 科技中一路腾讯大厦35层 (72)发明人 付兴旺　 (74)专利代理机构 深圳翼盛智成知识产权事务 所(普通合伙) 44300 代理人 黄威 (51)Int.Cl. G06F 17/30(2006.01) 权利要求书2页 说明书12页 附图7页 (54)发明名称 数据处理方法、数据处理装置及存储介质 (57)摘要 本发明公开了一种数据处理方法、数据处理 装置及存储介质，所述处理方法首先对实时数据 进行解析，以获取解析数据；然后根据解析数据 中的全局唯一标识符在缓存中查询对应的存储 值是否为空，当存储值不为空时，进行数据去重； 当存储值为空时，对协议号对应的存储值进行更 新；更新后，对统计指令中交集对应的多个协议 号所分别对应的存储值进行遍历，当所述多个协 议号所分别对应的存储值皆不为空时，对交集中 的统计指标进行计数。其中，在缓存时采用交集 中的全局唯一标识符作为主键，每条实时数据的 特征值在解析后映射到主键对应的存储值中，再 A 通过对存储值中指定比特位的变化来进行交集 9 的去重计数，不仅具有占用的内存空间少，且可 2 3 3 以提高计算效率。 3 1 7 0 1 N C CN 107133329 A 权　利　要　求　书 1/2页 1.一种数据处理方法，其特征在于，包括： 接收实时数据，并根据实时数据中包含的协议号对所述实时数据进行解析，以生成解 析数据； 根据解析数据中的全局唯一标识符查询所述协议号对应的存储值； 当所述存储值不为空时，进行数据去重； 当所述存储值为空时，对所述协议号对应的存储值进行更新；以及 更新后，对统计指令中交集对应的多个协议号所分别对应的存储值进行遍历，当所述 多个协议号所分别对应的存储值皆不为空时，对交集中的统计指标进行计数。 2.如权利要求1所述的数据处理方法，其特征在于，根据实时数据中包含的协议号对所 述实时数据进行解析，以生成解析数据，包括： 从所述实时数据中读取协议号； 根据所述协议号匹配对应的协议规范； 按照所述协议规范，对所述实时数据进行解析，并生成符合协议数据格式的解析数据。 3.如权利要求2所述的数据处理方法，其特征在于，接收实时数据，之前还包括： 获取协议号、全局唯一标识符、和协议内容，并通过所述协议号、所述全局唯一标识符、 和所述协议内容设置协议数据格式； 在所述协议数据格式中，设置协议号所在的协议标识位； 所述从所述实时数据中读取协议号，具体执行为：从所述实时数据的协议标识位中读 取所述协议号。 4.如权利要求3所述的数据处理方法，其特征在于，获取协议号、全局唯一标识符、和协 议内容，用于定义协议数据格式，之后进一步还包括： 将所述全局唯一标识符设置为主键； 将所述协议号、和所述协议内容设置为存储值，所述存储值是比特数组的结构； 所述设置协议号所在的协议标识位，包括：在所述比特数组中定义多个协议号所占的 比特位，每个协议对应M比特，M为正整数，其中若所述协议号对应的比特位的值为第一值， 则表示所述协议号对应的存储值为空；若所述协议号对应的比特位为第二值，则表示所述 协议号对应的存