CN120256575A 基于多模态交互的自适应学习问答系统及方法 （聊城大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120256575A(43)申请公布日2025.07.04

(21)申请号202510364855.0

(22)申请日2025.03.26

(71)申请人聊城大学

GO6F16/334(2025.01)

地址252000山东省聊城市东昌府区湖南

路1号

(72)发明人王超安洪勇张颖祝元庆

(74)专利代理机构济南泉城专利商标事务所

37218

专利代理师赵军

(51)Int.CI.

GO6F16/3329(2025.01)

GO6F16/332(2025.01)

GO6F16/36(2019.01)

GO6F16/335(2019.01)

GO6F40/30(2020.01)

权利要求书2页说明书10页附图2页

(54)发明名称

基于多模态交互的自适应学习问答系统及方法

(57)摘要

CN120256575A本发明公开了基于多模态交互的自适应学习问答系统及方法，具体涉及自适应学习问答技术领域；通过构建模态识别与预处理模块，实现文本、语音、图像等多模态输入的标准化与结构化；通过时间顺序编码与图谱建模，建立跨轮次的模态记忆图谱；结合用户交互历史与当前模态特征，动态更新用户画像；在问答生成过程中，融合当前输入、用户画像与历史图谱，通过上下文增强模块生成中间语义表示，并与知识库结合生成回答；同时引入模态置信度动态评估机制，按输入质量、用户适配度与上下文相关性分配权重；最后通过用户反馈驱动系统对图谱结构、用

CN120256575A

接收来自用户的多种模态输入信息，通过模态识别模

接收来自用户的多种模态输入信息，通过模态识别模

块分别对各模态数据进行格式标准化与预处理，得到

结构化的模态输入序列

对多轮对话过程中产生的各轮模态输入进行时间顺序编码，并构建跨轮次的模态记忆图谱

基于用户的交互历史行为和当前模态输入特征，更新用户画像

基于当前轮次的模态输入、用户画像以及历史模态记

忆图谱，通过上下文增强模块生成语义一致的中间语

义表示；再由问答生成模块结合语义表示与知识库信

息生成回答内容

在问答生成过程中，根据各模态输入质

量、用户画像及上下文相关度，动态分

配模态置信度权重

接收用户反馈信息，并根据反馈信息对模

态记忆图谱、用户画像和问答策略进行增

量优化，实现多轮自适应更新

CN120256575A权利要求书1/2页

2

1.基于多模态交互的自适应学习问答方法，其特征在于：包括：

接收来自用户的多种模态输入信息，通过模态识别模块分别对各模态数据进行格式标准化与预处理，得到结构化的模态输入序列；

对多轮对话过程中产生的各轮模态输入进行时间顺序编码，并构建跨轮次的模态记忆

图谱；

基于用户的交互历史行为和当前模态输入特征，更新用户画像；

基于当前轮次的模态输入、用户画像以及历史模态记忆图谱，通过上下文增强模块生成语义一致的中间语义表示；再由问答生成模块结合语义表示与知识库信息生成回答内容；

在问答生成过程中，根据各模态输入质量、用户画像及上下文相关度，动态分配模态置信度权重；

接收用户反馈信息，并根据反馈信息对模态记忆图谱、用户画像和问答策略进行增量优化，实现多轮自适应更新。

2.根据权利要求1所述的基于多模态交互的自适应学习问答方法，其特征在于：所述构建跨轮次的模态记忆图谱，包括将每轮模态输入附加时间戳与轮次标记，并基于模态间存在的指代关系、补充关系或语义引用关系建立图谱边结构，所述边结构支持动态更新与语义置信度加权。

3.根据权利要求1所述的基于多模态交互的自适应学习问答方法，其特征在于：所述用户画像更新，包括采用滑动窗口机制与时间衰减函数对用户画像进行增量更新，使得新输入行为对画像调整具有更高权重。

4.根据权利要求1所述的基于多模态交互的自适应学习问答方法，其特征在于：所述上下文增强模块采用图神经网络或多头注意力机制，对当前模态输入与模态记忆图谱中历史节点之间的语义路径进行建模，并生成上下文增强后的语义表示向量。

5.根据权利要求4所述的基于多模态交互的自适应学习问答方法，其特征在于：对于每个模态m,首先需要计算模态输入质量，包括：分别计算模态信号的信噪比，内容长度和模态识别错误率；对获取到的模态信号的信噪比，内容长度和模态识别错误率进行归一化处理后，进行加权平均求和