CN120234211A 一种智能数据质量监控方法和系统 （江西铜锐信息技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120234211A(43)申请公布日2025.07.01

(21)申请号202510703750.3

(22)申请日2025.05.29

(71)申请人江西铜锐信息技术有限公司

地址330000江西省南昌市南昌高新技术

产业开发区昌东大道7666号江铜国际广场1#楼办公楼5层513房

(72)发明人汪正良刘俊章奇科应科

蓝天鸿

(74)专利代理机构南昌松果知识产权代理事务

所(普通合伙)36183专利代理师葛运辉

(51)Int.CI.

GO6F11/30(2006.01)

GO6F11/07(2006.01)

GO6F11/32(2006.01)

GO6F18/241(2023.01)

GO6F18/2431(2023.01)

GO6F18/2411(2023.01)

GO6F18/25(2023.01)

权利要求书7页说明书16页附图3页

(54)发明名称

基于Schema

基于Schema肤射规则构建统一数据模型，利用统一数据模型对多源异构数据进行数据处理，得到标准化分发数据流

基于滑动窗口统计机制和阈值动态调修算法构建自适应阀值模块，自适应阈值模块和预训练模型构成异常检测引擎，预训练模型包括监督模型和无监督模型，基于随机森林、SVM和神经网络算法，将历史数据作为训练集输入至预训练模型进行训练优化，得到优化好的预训练模型，对标准化分发数据流利用优化好的预训练模型进行多模型融合检测，并结合自适应阀值模块进行阈值判定处理，得到处理后的异常事件列表

基于多源异构数据融合算法、自适应权重优化算法和局部敏感哈希优化算法构建上下文感知与动态优先级管理模块，将处理后的异常事件列表输入至上下文感知与动态优先级管理模块中进行去重优化传输，得到去重优化后的异常事件列表

对去重优化后的异常事件列表利用根源分析工具进行根源分析，得到框源分析结果

甚干通用疑则和核设接国构建疑则库，规刚库和分类模和构成修复建议引擎，对根源分析

基于权重分配算法构建多维评估模块。利用多维评估模块对标准化分发数据流和异常事件

列表进行精细化指标计算和动态权重分配处理，生成数据质量综合评分，根据数据质量综

合评分输出可视化报告

基于微服务架构构建统一控制台，统一控制台和封装适配器构成跨平台监控界面，将风险评估后的修复策略列表与可视化报告输入至跨平台监控界面，生成预警通知

步骤3

步骤4

步骤5

步骤6

步骤1

步骤2

步骤7

(57)摘要

120234211ACN本发明提出一种智能数据质量监控方法和系统，该方法包括：利用统一数据模型对多源异构数据进行数据处理；将历史数据作为训练集输入至预训练模型进行训练优化，得到优化好的预训练模型，对标准化分发数据流利用优化好的预训练模型结合自适应阈值模块进行阈值判定；将处理后的异常事件列表输入至上下文感知与动态优先级管理模块中进行去重优化传输；对去重优化后的异常事件列表利用根源分析工具进行根源分析；对根源分析结果利用修复建议引擎辅助生成修复策略；将修复策略与可视化报告输入至跨平台监控界面，生成修复建议和预警通知。本发明通过基于图数据库构建数据血缘图谱，实现异常事件的分钟级溯源，故障排查时间缩短

120234211A

CN

CN120234211A权利要求书1/7页

2

1.一种智能数据质量监控方法，其特征在于，所述方法包括如下步骤：

步骤1、基于Schema映射规则构建统一数据模型，利用统一数据模型对多源异构数据进行数据处理，得到标准化分发数据流；

步骤2、基于滑动窗口统计机制和阈值动态调整算法构建自适应阈值模块，自适应阈值模块和预训练模型构成异常检测引擎，预训练模型包括监督模型和无监督模型；

基于随机森林、SVM和神经网络算法，将历史数据作为训练集输入至预训练模型进行训练优化，得到优化好的预训练模型；

对标准化分发数据流利用优化好的预训练模型进行多模型融合检测，并结合自适应阈值模块进行阈值判定处理，得到处理后的异常事件列表；

步骤3、基于多源异构数据融合算法、自适应权重优化算法和局部敏感哈希优化算法构建上下文感知与动态优先级管理模块，将处理后的异常事件列表输入至上下文感知与动态优先级管理模块中进行去重优化传输，得到去重优化后的异常事件列表；

步骤4、对去重优化后的异