CN119808867A 混合专家网络训练方法、装置、设备及计算机程序产品 （科大讯飞股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119808867A

(43)申请公布日2025.04.11

(21)申请号202411769381.X

(22)申请日2024.12.04

(71)申请人科大讯飞股份有限公司

地址230088安徽省合肥市高新区望江西

路666号

(72)发明人刘权吴子维刘丹魏思王士进刘聪胡国平

(74)专利代理机构北京集佳知识产权代理有限

公司11227

专利代理师何方

(51)Int.Cl.

G06N3/08(2023.01)

G06N3/045(2023.01)

权利要求书2页说明书10页附图4页

(54)发明名称

混合专家网络训练方法、装置、设备及计算

机程序产品

(57)摘要

CN119808867A本申请公开了一种混合专家网络训练方法、装置、设备及计算机程序产品，本申请将混合专家层中各专家均衡划分为若干组均分到若干个设备上，不同设备间共享相同的路由模块。训练过程，对于混合专家层的输入隐层序列，通过路由模块计算每路专家的得分，对于每个专家组按照组内专家的得分，选取组内的激活专家，不同组内激活专家数量相同，每个专家组处理完整的隐层序列，由每个专家组内的激活专家对输入的隐层序列进行处理，得到激活专家的输出，并基于各激活专家的输出，得到混合专家层的