CN119167937B 一种基于大语言模型的多模态实体识别方法 （广西警察学院）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119167937B(45)授权公告日2025.07.04

(21)申请号202411393490.6

(22)申请日2024.10.08

(65)同一申请的已公布的文献号申请公布号CN119167937A

(43)申请公布日2024.12.20

(73)专利权人广西警察学院

地址530028广西壮族自治区南宁市青秀

区长湖路6号

(72)发明人秦振凯朱雨燕叶李霞魏文婧莫星宇陈悦

(74)专利代理机构江苏昌禾律师事务所32837专利代理师潘天志

(51)Int.CI.

GO6F40/295(2020.01)

GO6F40/30(2020.01)

GO6N3/0464(2023.01)

GO6N5/022(2023.01)

(56)对比文件

CN115455970A,2022.12.09CN117034185A,2023.11.10

审查员金兆辰

权利要求书4页说明书11页附图1页

(54)发明名称

一种基于大语言模型的多模态实体识别方

法

(57)摘要

CN119167937B本发明公开了一种基于大语言模型的多模态实体识别方法，S1、构建多模态输入数据集；S2、通过自适应模态交互框架确定并应用不同模态输入数据的预处理方法；S3、将预处理后的多模态输入数据集输入到具有模态感知机制的大语言模型中；S4、生成优化后的融合特征表示；S5、基于融合特征表示进行跨模态实体识别；S6、将识别出的实体通过动态映射算法与现有知识图谱进行自动匹配，若所述实体为新实体，则根据自适应模态交互的结果，自动生成新节点并更新现有的知识图谱节点关系；S7、通过不断输入新的多模态数据，系统自动调整并优化大语言模型的模态感知机制及自适应模态交互框架，对知

CN119167937B

83生单给文

kucGe

文本

CN119167937B权利要求书1/4页

2

1.一种基于大语言模型的多模态实体识别方法，其特征在于，包括如下步骤：

S1、接收文本数据、图像数据和音频数据，构建多模态输入数据集；

S2、通过自适应模态交互框架确定并应用不同模态输入数据的预处理方法，对多模态输入数据集进行预处理；

S3、将预处理后的多模态输入数据集输入到具有模态感知机制的大语言模型中，大语言模型用于生成包含多模态上下文理解的综合语义表示，结合文本、图像和音频的语义信

息；

S4、使用自适应模态交互框架对大语言模型生成的综合语义表示和其他模态特征进行自适应融合，通过动态调节不同模态的交互权重，生成优化后的融合特征表示；

S5、基于融合特征表示进行跨模态实体识别，跨模态实体识别包括利用模态感知机制识别文本和其他模态信息中的复杂实体和关系，并为实体生成相应的分类标签和关系映射；

S6、将识别出的实体通过动态映射算法与现有知识图谱进行自动匹配，若所述实体为新实体，则根据自适应模态交互的结果，自动生成新节点并更新现有的知识图谱节点关系；

S7、通过不断输入新的多模态数据，系统自动调整并优化大语言模型的模态感知机制及自适应模态交互框架，持续学习新知识，并对知识图谱进行动态扩展；

所述S2步骤包括：

S21、通过自适应模态交互框架对多模态输入数据集D={x,xi,xa}进行模态识别，确定每个模态的类型和数据结构；

S22、根据每个模态的特点，应用不同的预处理方法，其中对文本数据集D执行分词和去噪处理，对图像数据集D进行标准化和尺寸归一化处理，对音频数据集D进行去噪和频率域转换处理；

S23、将预处理后的文本数据集P(x)、图像数据集P:(x:)和音频数据集Pa(x)组合为预处理后的多模态输入数据集P,={P(xt),P(x:),Pa(x)};

所述S4步骤包括：

S41、使用自适应模态交互框架对大语言模型生成的综合语义表示Eu?t和各模态特征进行自适应融合，自适应模态交互框架动态调整不同模态的交互权重；

S42、通过自适应模态交互框架中的交互函数h(E?ti,E)对文本语义表示E(x,)、图像语义表示E(x:)和音频语义表示E(x。)进行特征融合；

S43、通过模态间的交互机制，根据每个模态的重要性动态调节不同模态的权重@;

所述S5步骤包括：

S51、基于融合特征表示Fop通过模态感知机制对文本