CN120256971A 一种多模态智能体RAG-ReAct双引擎协同训练方法 （北京中数睿智科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120256971A(43)申请公布日2025.07.04

(21)申请号202510749085.1

(22)申请日2025.06.06

(71)申请人北京中数睿智科技有限公司

地址100083北京市海淀区知春路23号10

层1014室

(72)发明人韩涵王甫宁何江和龙博

孙昊夏暄陈善君

(74)专利代理机构深圳利联知识产权代理事务所(普通合伙)44866

专利代理师黄亦磊

(51)Int.CI.

GO6NGO6N

GO6N

3/096(2023.01)5/02(2023.01)

5/04(2023.01)

GO6F18/214(2023.01)

GO6F18/23(2023.01)

GO6N3/042(2023.01)

GO6N3/0464(2023.01)

权利要求书3页说明书21页附图2页

(54)发明名称

一种多模态智能体RAG-ReAct双引擎协同训

练方法

(57)摘要

CN120256971A本发明涉及人工智能技术领域，尤其涉及一种多模态智能体RAG-ReAct双引擎协同训练方法。该方法包括以下步骤：获取多模态数据，并将多模态数据转化为高维向量；基于高维向量构建知识图谱；利用动态蒸馏技术将知识图谱的语义关系编码为模型微调梯度方向；基于高维向量设计分布式架构；基于分布式架构进行混合检索，得到混合检索数据；基于预设的递归反思机制以及混合检索数据执行分布式推理，生成分布式推理数据；根据分布式推理数据进行数据并行检测，得到数据并行参数；基于数据并行参数进行节点资源调度，从而获得节点负载均衡数据。本发明基于人工智能技术有效提高了多模态智能

CN120256971A

获取多模态数据，并将多模态数据转化为高维向量;基于高维向量构建知识图谱；利用动态蒸馏技术将知识图谱的语义关系编码为模型微调梯度方向

基于高维向量设计分布式架构；基于分布式架构进行混合检索，得到混合检索数据；基于预设的递归反思机制以及混合检索数据执行分布式推理，生成分布式推理数据；根据分布式推理数据进行数据并行检测，得到数据并行参数

基于数据并行参数进行节点资源调度，从而获得节点负载均衡数据：基于节点负载均衡数据构建三级反思体系；基于三级反思体系进行认知三级反思，生成三级反思数据：将三级反思数据进行认知蒸馏,得到认知蒸馏数据

将认知蒸馏数据进行思维显示化，得到显示化思维数据；根据显示化思维数据训练推理引擎；根据模型微调梯度方向对推理引擎进行模型参数的定向注入，得到智能体推理模型

,S4

CN120256971A权利要求书1/3页

2

1.一种多模态智能体RAG-ReAct双引擎协同训练方法，其特征在于，包括以下步骤：

步骤S1:获取多模态数据，并将多模态数据转化为高维向量；基于高维向量构建知识图谱；利用动态蒸馏技术将知识图谱的语义关系编码为模型微调梯度方向；

步骤S2:基于高维向量设计分布式架构；基于分布式架构进行混合检索，得到混合检索数据；基于预设的递归反思机制以及混合检索数据执行分布式推理，生成分布式推理数据；根据分布式推理数据进行数据并行检测，得到数据并行参数；

步骤S3:基于数据并行参数进行节点资源调度，从而获得节点负载均衡数据；基于节点负载均衡数据构建三级反思体系；基于三级反思体系进行认知三级反思，生成三级反思数据；将三级反思数据进行认知蒸馏，得到认知蒸馏数据；

步骤S4:将认知蒸馏数据进行思维显示化，得到显示化思维数据；根据显示化思维数据训练推理引擎；根据模型微调梯度方向对推理引擎进行模型参数的定向注入，得到智能体推理模型。

2.根据权利要求1所述的多模态智能体RAG-ReAct双引擎协同训练方法，其特征在于，步骤S1具体为：

步骤S11:获取多模态数据，并提取文本数据以及图像数据；

步骤S12:基于文本数据识别关键实体；根据关键实体抽取实体关系；

步骤S13:根据关键实体以及实体关系构建语义图；

步骤S14:基于图像数据识别图像目标，并将图像目标映射到语义图，并利用预设的向量数据库将语义图转化为高维向量；

步骤S15:基于高维向量构建知识图谱；

步骤S