CN119293139A 用于增强大语言模型多模态长上下文对话能力的记忆检索方法 （中科南京人工智能创新研究院）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119293139A(43)申请公布日2025.01.10

(21)申请号202411806624.2

(22)申请日2024.12.10

(71)申请人中科南京人工智能创新研究院

地址211135江苏省南京市江宁区创研路

266号麒麟人工智能产业园3号楼3楼申请人中国科学院自动化研究所

(72)发明人张钏钰李成华张一帆胡庆浩王培松

GO6FGO6F

GO6NGO6N

18/10(2023.01)

18/213(2023.01)

3/042(2023.01)

3/08(2023.01)

(74)专利代理机构北京中先生知识产权代理事

务所(普通合伙)16063专利代理师窦贤宇

(51)Int.CI.

GO6F16/31(2019.01)

GO6F16/334(2025.01)

GO6F16/35(2025.01)

权利要求书3页说明书13页附图3页

(54)发明名称

用于增强大语言模型多模态长上下文对话能力的记忆检索方法

(57)摘要

CN119293139A本发明公开了一种用于增强大语言模型多模态长上下文对话能力的记忆检索方法，包括对原始多模态对话序列进行基于信息密度的自适应切分并提取局部特征；构建三层特征金字塔结构实现多尺度特征表示；通过特征压缩和时序依赖图建模增强特征的时序表达能力；基于特征稳定性评估构建记忆向量序列；对查询数据进行结构化表示并与记忆向量进行多层次交互；通过层次化索引和多维度相似度计算实现高效检索；基于用户反馈定期优化记忆序列。本发明能够有效

CN119293139A

步理

步理S1、接收原始多模态对话序列，并将其按照预设长度进行切分，得到预处理序列集合；基于预

处理序列集合中的每个子序列，提取文本和图像特征，构建局部特征关联图，得到局部特征集合；对局部特征集合进行层次化特征融合，得到多层次特征表示

步骤S2、基于多层次特征表示，计算每个特征向量的重要性得分并进行特征选择，得到压缩特征向量；基于压缩特征向量，构建时序依赖图并通过图神经网络更新节点表示，得到时序增强特征；基于时

序增强特征，计算稳定性矩阵；基于稳定性矩阵，对时序增强特征进行筛选，得到记忆向量序列；

步骤S3、读取用户输入的多模态查询数据，进行特征提取，得到原始查询特征；基于原始查询特征,提取查询意图，构建结构图，得到结构化查询表示；将结构化查询表示与记忆向量序列进行交互计算

,得到交互特征；对交互特征进行多尺度整合和变换，得到融合特征向量；

步骤S4、基于融合特征向量，构建多层素引结构并生成检素候选集；基于检索候选集，计算多维度

相似度并验证上下文一致性，得到排序候选集；对排序候选集进行信息过滤和相关性优化，得到检索结果序列。

CN119293139A权利要求书1/3页

2

1.用于增强大语言模型多模态长上下文对话能力的记忆检索方法，其特征在于，包括如下步骤：

S1、接收原始多模态对话序列，并将其按照预设长度进行切分，得到预处理序列集合；基于预处理序列集合中的每个子序列，提取文本和图像特征，构建局部特征关联图，得到局部特征集合；对局部特征集合进行层次化特征融合，得到多层次特征表示；

S2、基于多层次特征表示，计算每个特征向量的重要性得分并进行特征选择，得到压缩特征向量；基于压缩特征向量，构建时序依赖图并通过图神经网络更新节点表示，得到时序增强特征；基于时序增强特征，计算稳定性矩阵；基于稳定性矩阵，对时序增强特征进行筛选，得到记忆向量序列；

S3、读取用户输入的多模态查询数据，进行特征提取，得到原始查询特征；基于原始查询特征，提取查询意图，构建结构图，得到结构化查询表示；将结构化查询表示与记忆向量序列进行交互计算，得到交互特征；对交互特征进行多尺度整合和变换，得到融合特征向量；

S4、基于融合特征向量，构建多层索引结构并生成检索候选集；基于检索候选集，计算多维度相似度并验证上下文一致性，得到排序候选集；对排序候选集进行信息过滤和相关性优化，得到检索结果序列。

2.根据权利要求1所述的用于增强大语言模型多模态长上下文对话能力的记忆检索方法，其特征在于，步骤S1进一步为：

S11、接收原始多模态对话序列，根据预设的切分长度阈值将原始多模态对话序列划分为预定个数的子序列，每个子序列包含相邻的文