CN119514638B 一种面向混合专家大模型的动态高效路由方法及装置 （中国科学院自动化研究所）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119514638B(45)授权公告日2025.07.08

(21)申请号202411348957.5

(22)申请日2024.09.26

(65)同一申请的已公布的文献号申请公布号CN119514638A

(43)申请公布日2025.02.25

(73)专利权人中国科学院自动化研究所

地址100190北京市海淀区中关村东路95

号

(72)发明人郭龙腾岳同天

(74)专利代理机构北京路浩知识产权代理有限公司11002

专利代理师苗青盛

(51)Int.CI.

GO6N3/092(2023.01)

GO6N3/045(2023.01)

GO6N3/042(2023.01)

GO6N5/04(2023.01)

GO6F40/284(2020.01)

GO6F40/30(2020.01)

G06N3/048(2023.01)

(56)对比文件

MaryamAkhavanAghdamet.al.DA-MoE:TowardsDynamicExpertAllocationfor

Mixture-of-ExpertsModels.《arXiv:

2409.06669v1》.2024,pages1-10.

审查员黄虹

权利要求书2页说明书10页附图5页

(54)发明名称

一种面向混合专家大模型的动态高效路由方法及装置

获取输入数据和预先训练的混合专家大模型，其中，所述

获取输入数据和预先训练的混合专家大模型，其中，所述混合专家大模型包括分配器模块和路由器

将输入数据分为多个词元，利用分配器模块确定每个词元的最优专家数量

利用路由器根据最优专家数量为每个词元选择专家组合，并将每个词元路由到对应的专家组合

S201

S202

S203

CN119514638B本发明提供一种面向混合专家大模型的动态高效路由方法及装置，该方法包括：获取输入数据和预先训练的混合专家大模型，其中，混合专家大模型包括分配器模块和路由器；将输入数据分为多个词元，利用分配器模块确定每个词元的最优专家数量；利用路由器根据最优专家数量为每个词元选择专家组合，并将每个词元路由到对应的专家组合。能够根据每个词元的难度和重要性自适应地调整激活的专家数量，这种机制不仅提高了计算资源的利用效率，而且通过精细化的资源分配，进一步提升了模型的性能

CN119514638B

CN119514638B权利要求书1/2页

2

1.一种面向混合专家大模型的动态高效路由方法，其特征在于，包括：

获取输入数据和预先训练的混合专家大模型，其中，所述混合专家大模型包括分配器模块和路由器，所述输入数据为文本；

将输入数据分为多个词元，利用分配器模块确定每个词元的最优专家数量；

利用路由器根据最优专家数量为每个词元选择专家组合，并将每个词元路由到对应的专家组合；

在将输入数据分为多个词元，利用分配器模块确定每个词元的最优专家数量之前，所述方法还包括：

使用策略梯度算法训练所述分配器模块；

所述使用策略梯度算法训练所述分配器模块，包括：

对于每个训练样本，将训练样本分解为多个词元；

使用分配器模块为每个词元生成专家数量的概率分布；

根据概率分布进行采样，确定激活的专家数量；

使用激活的专家对词元进行推理，并计算相应的性能指标；

将所述激活的专家数量和性能指标输入预先定义的奖励函数计算每个训练样本的奖励值；

基于奖励值使用策略梯度算法更新分配器模块的策略参数，使期望回报最大化。

2.根据权利要求1所述的面向混合专家大模型的动态高效路由方法，其特征在于，所述分配器模块包括输入层、至少一个隐藏层和输出层；

所述将输入数据分为多个词元，利用分配器模块确定每个词元的最优专家数量，包括：将输入数据分为多个词元，并为每个词元生成表示向量；

输入层接收每个词元的表示向量；

至少一个隐藏层提取每个表示向量的词元特征；

输出层根据每个表示向量的词元特征输出每个词元对应的专家数量的概率分布，并基于专家数量的概率分布进行采样，为每个词元选择最优专家数量。

3.根据权利要求1所述的面向混合专家大模型的动态高效