一种业务数据宽表的构建方法、装置、系统及存储介质.pdfVIP

下载本文档

2
0
约8.68千字
约 9页
2023-06-25 发布于四川
举报

一种业务数据宽表的构建方法、装置、系统及存储介质.pdf

本发明提供了一种业务数据宽表的构建方法、装置、系统及存储介质，涉及大数据实时计算领域，应用于实现宽表的打平和入库。其中具体方案包括：获取业务数据，对业务数据进行清洗过滤并对清洗过滤后的业务数据进行路由打标，得到前置数据；将前置数据发送到kafka，得到合并流主题；flink计算任务消费合并流主题，得到输出数据；根据输出数据生成宽表，将宽表更新到数据库中进行保存。本公开实施例通过架构设计路由业务数据，利用flink自定义状态的优势作为旁路缓存使用，实现了宽表的打平和入库，解决了由于数据延迟和数据源

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116303444 A (43)申请公布日 2023.06.23 (21)申请号 202310184478.3 (22)申请日 2023.02.28 (71)申请人上海中通吉网络技术有限公司地址

您可能关注的文档

文档评论（0）

1亿VIP精品文档

更多 >

一种业务数据宽表的构建方法、装置、系统及存储介质.pdfVIP

一种业务数据宽表的构建方法、装置、系统及存储介质.pdf

您可能关注的文档

最近下载

文档评论（0）

1亿VIP精品文档

相关文档