CN120069096B 一种用于工业质检的跨模态知识推理方法、设备及介质 （浪潮通用软件有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN120069096B(45)授权公告日2025.07.08

(21)申请号202510542904.5

(22)申请日2025.04.28

(65)同一申请的已公布的文献号申请公布号CN120069096A

(43)申请公布日2025.05.30

(73)专利权人浪潮通用软件有限公司

地址250101山东省济南市历下区浪潮路

1036号

(72)发明人刘继乔王建杜宏伟丁一凡

刘金桐张士良宋刚

(74)专利代理机构北京君慧知识产权代理事务所(普通合伙)11716

专利代理师肖鹏

(51)Int.CI.

GO6N5/04(2023.01)

GO6N5/025(2023.01)

GO6F18/25(2023.01)

GO6F18/20(2023.01)

GO6F40/30(2020.01)

GO6N3/042(2023.01)

GO6N3/0464(2023.01)

GO6N3/045(2023.01)

GO6N3/049(2023.01)

(56)对比文件

CN119830918A,2025.04.15CN119166854A,2024.12.20

审查员杜学惠

权利要求书2页说明书14页附图3页

(54)发明名称

一种用于工业质检的跨模态知识推理方法、设备及介质

(57)摘要

CN120096096B本说明书实施例公开了一种用于工业质检的跨模态知识推理方法、设备及介质，涉及人工智能技术领域，方法包括：获取当前推理任务信息，根据当前推理任务信息中的任务描述文本，对多模态输入数据进行动态权重分配，确定多模态语义权重信息，并确定多模态输入数据对应的当前融合语义特征；对多模态输入数据进行语义冲突检测，当多模态输入数据存在语义冲突时，基于多模态语义权重信息，对多模态语义权重信息进行权重调整，确定冲突消解模态权重信息；根据冲突消解模态权重信息和当前融合语义特征，通过大模型和预先构建的动态超图知识网络进行知识推理，确定结构化决策文本，结构化决策文本包括缺陷类型、根因分析、关联路径、决策建议和预警信

CN120096096B

S101

S101

获取当前推理任务信息，根据当前推理任务信息中的任务描述文本，对多模态输入数据进行动态权重分配，确定多模态语义权重信息，并确定多模态输入数据对应的当前融合语义特征

S102

对多模态输入数据进行语义冲突检测，当多模态输入数据存在

语义冲突时，基于多模态语义权重信息，对多模态语义权重信

息进行权重调整，确定冲突消解模态权重信息

S103

根据冲突消解模态权重信息和当前融合语义特征，通过大

模型和预先构建的动态超图知识网络进行知识推理，确定结构化决策文本

CN120069096B权利要求书1/2页

2

1.一种用于工业质检的跨模态知识推理方法，其特征在于，所述方法包括：

获取当前推理任务信息，根据所述当前推理任务信息中的任务描述文本，对多模态输入数据进行动态权重分配，确定多模态语义权重信息，并确定所述多模态输入数据对应的当前融合语义特征；

对所述多模态输入数据进行语义冲突检测，当所述多模态输入数据存在语义冲突时，基于所述多模态语义权重信息，对所述多模态语义权重信息进行权重调整，确定冲突消解模态权重信息；

根据所述冲突消解模态权重信息和所述当前融合语义特征，通过大模型和预先构建的动态超图知识网络进行知识推理，确定结构化决策文本，其中，所述结构化决策文本包括缺陷类型、根因分析、关联路径、决策建议和预警信号中的任意一项或多项；

基于所述多模态语义权重信息，对所述多模态语义权重信息进行权重调整，确定冲突消解模态权重信息，具体包括：

在多个模态中确定至少两个冲突模态，并获取所述冲突模态之间的跨模态距离指标；

通过所述跨模态距离指标和预设的距离指标阈值，确定所述冲突模态对应的权重惩罚因子；

根据所述权重惩罚因子和所述多模态语义权重信息，对所述多个模态分别进行权重调整，确定冲突消解模态权重信息；

根据所述权重惩罚因子和所述多模态语义权重信息，对所述多个模态分别进行权重调整，确定冲突消解模态权