CN120296652A 一种多模态数据的知识图谱构建方法 （政和科技股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120296652A(43)申请公布日2025.07.11

(21)申请号202510294050.3

(22)申请日2025.03.13

(71)申请人政和科技股份有限公司

地址250000山东省济南市高新区汉峪金

GO6NGO6N

GO6NGO6N

5/022(2023.01)3/042(2023.01)

3/0464(2023.01)

3/092(2023.01)

谷A3区5号楼17层

(72)发明人朱涛代侃王海云李瑞恒张庆文

(74)专利代理机构山东明宇知信知识产权代理事务所(普通合伙)37329

专利代理师李素娟

(51)Int.CI.

GO6F18/25(2023.01)

GO6F18/213(2023.01)

GO6F18/231(2023.01)

GO6F18/22(2023.01)

权利要求书3页说明书10页附图2页

(54)发明名称

一种多模态数据的知识图谱构建方法

(57)摘要

CN120296652A本发明公开了一种多模态数据的知识图谱构建方法，涉及智能搜索优化技术领域，本发明基于跨模态一致性度量方法匹配相似知识实体，采用信息熵去重策略合并冗余数据，利用图卷积网络进行语义对齐，并动态调整聚类结构，提高知识图谱的数据整合质量；针对缺乏上下文感知能力的问题，实时采集搜索关键词、点击频次、停留时间等搜索行为数据，计算评估搜索环境适配因子Gdf,并采用强化学习优化知识实体关联权重，提升搜索适配性；针对多模态数据处理困难的问题，采用跨模态对比学习方法，计算评估跨模态匹配度指数Mcf,并基于对数几何平均数动态调整各模态数据权重，使不同模态数据融合于

CN120296652A

步骤一、采用基于熵权分配的特征提取方法，对文本、图像、语音和视频数据进行特征向

步骤一、采用基于熵权分配的特征提取方法，对文本、图像、语音和视频数据进行特征向量化，构建初始知识实体集合，并对知识实体进行唯一标识编号和多模态空间映射；

步骤二、基于跨模态一致性度量方法，在不同数据源中匹配相似知识实体，并采用信息熵去重策略合并冗余数据，以构建非冗余知识图谱，同时利用图卷积网络进行语义对齐；

步骤三、计算搜索环境适配因子Gdf并评估，构建上下文感知知识图谱的同时，验证搜索

环境是否已经匹配到足够的上下文信息；

步骤四、采用跨模态对比学习方法提取跨模态匹配相关数据，通过计算获取跨模态匹配度指数Mcf并评估，构建统一高维知识表示，建立跨模态数据融合机制；

步骤五、基于上下文感知知识图谱计算多模态适配度指数Qms,并通过动态索引调度机

制调整知识图谱检索策略；最后对多模态适配度指数Qms进行评估分析，实时调整知识查询路径

CN120296652A权利要求书1/3页

2

1.一种多模态数据的知识图谱构建方法，其特征在于：包括以下步骤：

步骤一、采用基于熵权分配的特征提取方法，对文本、图像、语音和视频数据进行特征向量化，构建初始知识实体集合，并对知识实体进行唯一标识编号和多模态空间映射；

步骤二、基于跨模态一致性度量方法，在不同数据源中匹配相似知识实体，并采用信息熵去重策略合并冗余数据，以构建非冗余知识图谱，同时利用图卷积网络进行语义对齐；

步骤三、计算搜索环境适配因子Gdf并评估，构建上下文感知知识图谱的同时，验证搜索环境是否已经匹配到足够的上下文信息；

步骤四、采用跨模态对比学习方法提取跨模态匹配相关数据，通过计算获取跨模态匹配度指数Mcf并评估，构建统一高维知识表示，建立跨模态数据融合机制；

步骤五、基于上下文感知知识图谱计算多模态适配度指数Qms,并通过动态索引调度机制调整知识图谱检索策略；最后对多模态适配度指数Qms进行评估分析，实时调整知识查询

路径。

2.根据权利要求1所述的一种多模态数据的知识图谱构建方法，其特征在于：步骤一具体包括：

首先获取文本、图像、语音和视频在内的多模态相关数据，并基于熵权分配的特征提取方法，对不同模态的多模态相关数据进行特征分解，提取多模态相关数据中每个模态数据的关键属性，并将关键属性转换为高维特征向量；随后，构建初始知识实体集合，并基于深度语义匹配机制，对高维特征向量进行语义相似性计算后，对知识实体进行高相似度识别；在此基础上，基于图神经网络的