CN120256834A 一种基于大数据的动态可配置数据清洗方法及其系统 （政和科技股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120256834A(43)申请公布日2025.07.04

(21)申请号202510733091.8

(22)申请日2025.06.04

(71)申请人政和科技股份有限公司

地址250000山东省济南市高新区汉峪金

谷A3区5号楼17层

(72)发明人朱涛张庆文刘金贵陈华林仇志越

(74)专利代理机构北京鼎和日升专利代理有限公司16188

专利代理师侯腾腾

(51)Int.CI.

GO6F

GO6F

GO6F

GO6F

GO6F

GO6F

GO6F

18/22(2023.01)

18/2413(2023.01)

18/2431(2023.01)

18/28(2023.01)

18/20(2023.01)

9/48(2006.01)

9/50(2006.01)

GO6F18/10(2023.01)

GO6F16/215(2019.01)

GO6F16/25(2019.01)

GO6F16/27(2019.01)

权利要求书4页说明书13页附图3页

(54)发明名称

一种基于大数据的动态可配置数据清洗方法及其系统

(57)摘要

CN120256834A本发明属于数据处理技术领域，本发明公开了一种基于大数据的动态可配置数据清洗方法及其系统，包括采集异构数据源，结合数据源适配接口进行异构数据源接入；利用模拟抗原识别记忆机制，对异构数据源中的异常模式进行识别并编码为抗原指纹；基于抗原指纹构建数据价值密度评分函数，得到数据价值密度评分；根据数据价值密度评分构建三维存储拓扑空间，采用晶格迁移算法，自动识别冷热数据临界点，在异构数据源降温至预设温度阈值时触发分层迁移，引入热力学扩散机制，将异构数据源在三维存储拓

CN120256834A

乐地

乐地结的

小下调

CN120256834A权利要求书1/4页

2

1.一种基于大数据的动态可配置数据清洗方法，其特征在于，包括：

S1、采集异构数据源，结合数据源适配接口进行异构数据源接入；利用模拟抗原识别记忆机制，对异构数据源中的异常模式进行识别并编码为抗原指纹；基于抗原指纹构建数据价值密度评分函数，得到数据价值密度评分；

S2、根据数据价值密度评分构建三维存储拓扑空间，采用晶格迁移算法，自动识别冷热数据临界点，在异构数据源降温至预设温度阈值时触发分层迁移，引入热力学扩散机制，将异构数据源在三维存储拓扑空间中的迁移过程模拟为热扩散路径；

S3、通过拖拽方式构建数据清洗流程图，基于拓扑排序确定数据清洗流程图中清洗算子的执行顺序，并自动调度清洗任务；

S4、构建清洗规则达尔文进化体系，对清洗规则进行周期性进化，定义清洗规则适应度函数，模拟自然选择机制动态优化清洗策略，输出进化后的规则指令集；

S5、构建异构处理架构，定制VHDL内核对异构数据源进行清洗处理；基于热扩散路径与Spark分批读取机制进行协同，调用进化后的规则指令集完成预设数据清洗任务；

S6、构建具备操作存证链和质量认证链的双链结构，对进行清洗处理后的异构数据源进行审计验证；利用可验证摘要函数记录清洗后的异构数据源的清洗可信度；当清洗可信度小于预设清洗可信度阈值时触发重清洗机制，并更新清洗规则。

2.根据权利要求1所述的一种基于大数据的动态可配置数据清洗方法，其特征在于，所述对异构数据源中的异常模式进行识别并编码为抗原指纹的方法包括：

异构数据源包括结构化数据、半结构化数据、非结构化数据、流式数据和系统运维数据；对异构数据源进行标准差归一化处理转化为标准化数据格式；

构建模拟抗体库，将模拟抗体库中的每个抗体定义为一个可适应、可变异的抗体模板；抗体模板为基于K最近邻模型的模板、基于聚类中心向量的模板或基于小样本神经网络的模板中的任意一种；

利用相似度检测机制计算异构数据源与抗体模板的匹配度；相似度检测机制为余弦相似度、欧氏距离或核函数相似度中的任意一种；若匹配度小于预设匹配度阈值，则识别为异常模式，并标记为模拟抗原；

对模拟抗原进行指纹编码处理，指纹编码处理包括特征降维、指纹哈希映射和特征向量归一化处理，生成包含数据标识、异常类别、时间戳和特征哈希值的抗原指纹。

3.根据权利要求2所述的一种基于大数据的动态可配置数据清洗方法，其特征在于，所述数据价值密度评分的获取方法包括：

对抗原指纹进行多维度信息抽