CN120277223A 基于多模态大模型的动态向量知识库构建与检索方法 （南京迅集科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120277223A(43)申请公布日2025.07.08

(21)申请号202510765415.6

(22)申请日2025.06.10

(71)申请人南京迅集科技有限公司

地址210046江苏省南京市栖霞区马群街

道紫东路1号紫东国际创意园西区F1栋607室

(72)发明人冯钟灵李旭党鑫马伟

GO6FGO6F

GO6FGO6N

40/30(2020.01)18/231(2023.01)

18/22(2023.01)

5/022(2023.01)

(74)专利代理机构南京佰腾智信知识产权代理

事务所(普通合伙)32509专利代理师黄杭飞

(51)Int.CI.

GO6F16/36(2019.01)

GO6F16/35(2025.01)

GO6F16/334(2025.01)

GO6F16/335(2019.01)

权利要求书3页说明书12页附图2页

(54)发明名称

基于多模态大模型的动态向量知识库构建与检索方法

(57)摘要

CN120277223A本发明属于知识检索技术领域，本发明公开了基于多模态大模型的动态向量知识库构建与检索方法，包括：获取多源异构模态数据集，并对其进行预处理和模态规范化处理，获得标准化多模态数据集；利用预训练多模态大模型进行特征提取和语义向量表示生成，构建多模态知识向量集；对多模态知识向量集进行语义关联分析与层次聚类，构建结构化向量知识库；对向量知识库进行语义相似度计算和关系建模，形成向量关系网络；基于用户输入的混合模态查询信息进行意图分析与向量表示，结合向量关系网络实现高效相似性检索；通过用户反馈进行动态优化，实现

CN120277223A

多模态大模型

多模态大模型

混合模态查询信息

图分析

查询向量表示

开始

采颗

多源异构模态数据

集

多模态知识向量集

,层次聚失向量知识图谱结构

向量知识库

向量间关系建模

向量关系网络

1性柏索初始检素结果集

优化检素结果集

CN120277223A权利要求书1/3页

2

1.基于多模态大模型的动态向量知识库构建与检索方法，其特征在于，包括：

步骤一：获取多源异构模态数据集，并对所获得的多源异构模态数据集进行预处理和模态规范化处理，获得相应的标准化多模态数据集；

步骤二：基于预先构建的多模态大模型对标准化多模态数据集进行特征提取和语义向量表示生成，获得相应的多模态知识向量集；

步骤三：对所获得的多模态知识向量集进行语义关联分析与层次聚类，构建向量知识图谱结构，并基于向量知识图谱结构构建结构化的向量知识库；

步骤四：对所获得的向量知识库进行语义相似度计算和向量间关系建模，获得相应的向量关系网络；

步骤五：对用户输入的混合模态查询信息进行多模态查询理解与意图分析，获得相应的查询向量表示；并结合向量关系网络进行高效相似性检索，获得相应的初始检索结果集；

步骤六：对所获得的初始检索结果集进行动态反馈优化，得到优化检索结果集。

2.根据权利要求1所述的基于多模态大模型的动态向量知识库构建与检索方法，其特征在于，设置数据采集单元，所述数据采集单元用于从多个数据源收集并整合不同的模态数据集合，获得相应的多源异构模态数据集；所述多源异构模态数据集包括文本数据、图像数据、音频数据和视频数据。

3.根据权利要求2所述的基于多模态大模型的动态向量知识库构建与检索方法，其特征在于，标准化多模态数据集的获取过程包括：

对所获得的多源异构模态数据集进行模态识别和格式转换，获得相应的初始模态数据集；

对所获得的初始模态数据集进行数据清洗和异常值检测，获得相应的净化模态数据集；

对所获得的净化模态数据集进行数据增强和归一化处理，获得相应的增强模态数据集；

对所获得的增强模态数据集进行跨模态对齐和时序同步，获得相应的多模态对齐数据集；

对所获得的多模态对齐数据集进行特征标准化处理和维度一致性处理，获得相应的标准化多模态数据集。

4.根据权利要求3所述的基于多模态大模型的动态向量知识库构建与检索方法，其特征在于，多模态知识向量集的获取过程包括：

基于已知的模态类型选取适用于不同模态数据的预训练大模型组件；对所选取的预训练大模型组件进行集成，并基于其构建相应的多模态大模型；

基于所构建的多模态大模型对相应标准化多模态数据集进行特征提取，获得相应的模态特征