CN114186000B 一种基于Flink的业务数据监控方法、装置及存储介质 （上海得物信息集团有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114186000B(45)授权公告日2025.07.08

(21)申请号202111523688.8

(22)申请日2021.12.14

(65)同一申请的已公布的文献号申请公布号CN114186000A

(43)申请公布日2022.03.15

(73)专利权人上海得物信息集团有限公司

地址200080上海市虹口区同心路723号13

幢6416室

(72)发明人黄超

(74)专利代理机构深圳市易美诺知识产权代理事务所(普通合伙)44520

专利代理师沈荣彬

(51)Int.CI.

GO6F16/28(2019.01)

GO6F16/22(2019.01)

GO6F16/242(2019.01)

GO6F16/2457(2019.01)

(56)对比文件

CN111488261A,2020.08.04

审查员胡璇

权利要求书2页说明书13页附图4页

(54)发明名称

一种基于Flink的业务数据监控方法、装置及存储介质

(57)摘要

CN114186000B本发明公开了一种基于Flink的业务数据监控方法、装置及存储介质，方法包括：配置第一业务数据的数据存储规则；Flink从日志服务器中获取第一业务数据，根据数据存储规则对第一业务数据进行过滤处理，得到第二业务数据；把第二业务数据存入数据库中；查询所述数据库得到第三业务数据，对所述第三业务数据进行处理。通过本发明实施例，设置APP埋点业务数据与ClickHouse表关联，N个埋点对象关联成一张结构表，将埋点字段与结构表的字段进行一一对应；并通过日志服务器、Flink及ClickHouse进行

CN114186000B

配置第一业务数据的数据存储规则

Flink从日志服务器中获取所述第一业务数据，根据所述

数据存储规则对所述第一业务数据进行过滤处理，得到第

二业务数据；把所述第二业务数据存入数据库中

查询所述数据库得到第三业务数据，对所述第三业务数据进行处理

101

102

103

CN114186000B权利要求书1/2页

2

1.一种基于Flink的业务数据监控方法，其特征在于，所述方法包括以下步骤：

配置第一业务数据的数据存储规则；

Flink从日志服务器中获取所述第一业务数据，根据所述数据存储规则对所述第一业务数据进行过滤处理，得到第二业务数据；把所述第二业务数据存入数据库中；

查询所述数据库得到第三业务数据，对所述第三业务数据进行处理；

其中，所述配置第一业务数据的数据存储规则，包括以下步骤：

设置所述第一业务数据的标识和基础字段和自定义字段；

建立所述第一业务数据的所述标识与数据库表关联关系，N个所述第一业务数据的所述标识与1张所述数据库表建立关联关系；其中，所述N大于等于1;

根据所述基础字段和所述自定义字段，创建所述标识对应的所述数据库表的字段；

建立所述基础字段和所述自定义字段与所述数据库表的字段的关联关系。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

为从所述标识对应的所述数据库中查询所述标识对应的所述基础字段和所述自定义字段对应的字段数据，创建第一SQL语句；所述标识和所述第一SQL语句一一对应。

3.根据权利要求1所述的方法，其特征在于，所述Flink从日志服务器中获取所述第一业务数据，根据所述数据存储规则对所述第一业务数据进行过滤处理，得到第二业务数据；把所述第二业务数据存入数据库中，包括以下步骤：

根据所述数据存储规则中的所述第一业务数据的标识对所述第一业务数据进行过滤，得到所述标识对应的第四业务数据；

根据所述标识对应的所述基础字段和所述自定义字段从所述第四业务数据中获取所述基础字段和所述自定义字段对应的字段数据；

根据所述字段数据和所述标识对应的数据库表创建第二SQL语句，执行所述第二SQL语句把所述字段数据保存到所述标识对应的数据库表中。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括以下步骤：

对多个所述标识对应的字段数据和多个所述标识对应的所述数据库表创建批量存储数据的第三SQL语句，执行所述第三SQL语句把所述多个所述标识对应的字段数据保存到数据库中。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括以下