CN120235253A 一种基于cpu和gpu协同的混合专家模型推理方法 （北京大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120235253A(43)申请公布日2025.07.01

(21)申请号202510254307.2

(22)申请日2025.03.05

(71)申请人北京大学

GO6F12/0862(2016.01)

GO6F13/42(2006.01)

地址100871北京市海淀区颐和园路5号

(72)发明人李萌孙延范仲书璋王润声

(74)专利代理机构北京万象新悦知识产权代理有限公司11360

专利代理师贾晓玲

(51)Int.CI.

GO6N5/043(2023.01)

GO6N3/045(2023.01)

GO6N3/042(2023.01)

GO6N3/0442(2023.01)

GO6F9/50(2006.01)

GO6F9/48(2006.01)

权利要求书2页说明书5页附图2页

(54)发明名称

一种基于CPU和GPU协同的混合专家模型推

理方法

(57)摘要

CN120235253A本发明公开了一种基于CPU和GPU协同的混合专家模型推理方法，属于深度学习(machinelearning)领域。本发明构建混合专家模型的CPU-GPU计算框架，有效平衡异构计算资源负载，显著提升硬件利用率；且提供基于动态优先级分数的智能缓存管理机制，优先保留高需求专家，降低缓存缺失引发的传输开销；通过分离计算与传输任务的流水线并行设计，实现CPU计算与PCIe传输在GPU执行期间的重叠，有效隐藏延迟。此外，结合多层专家激活预测的前瞻性预取机制，提高专家缓存命中率。本发明兼容不同规模与结构的混合专家模型，在资源受限的异构平台上实现稳定高效的推理加

CN120235253A

高负载专家□低负载专家

E3EN专家预取机制

E3

□□

混合调度策略

门控函数

动态缓存管理

核

模型系统

CN120235253A权利要求书1/2页

2

1.一种基于CPU和GPU协同的混合专家模型推理方法，具体包括以下步骤：

步骤1:给定一个自回归的混合专家模型M,其包含L层，每一层拥有N个专家E?,E?,…EN-1,将输入数据表示为X,其为形状为批大小，序列长度，隐藏层维度的张量，将单个专家在CPU平台处理负载为i的时间记作TPU,在GPU平台处理负载为i的时间记作TGPU,从CPU平台至GPU平台的传输时间记作TTrans;

步骤2:根据设定的专家缓存比例1,设每层的显存分配的专家数为t?,则t?=kN,将每层的专家均匀分配至GPU和CPU内存中；

步骤3:调用门控函数得到激活专家后，GPU优先考虑高负载已缓存专家的计算，CPU优先考虑低负载未缓存专家的计算，CPU-GPU传输机制优先考虑高负载无缓存专家从CPU到GPU的移动，将CPU平台处理专家的时间记作Tcpu(cpu_expert),GPU平台处理专家的时间记作Tgpu(gpu_expert),具体调度目标为：

arogminesnermax(Tcmu(Ccpu_expert),TSpme(gpu-expert)

步骤4:基于步骤3的调度目标，在门控函数给出专家负载后，设定GPU专家执行队列QG和CPU专家执行队列Qc,同时记录Qg总执行时间TGPu、专家从CPU到GPU的传输总时间TpcTe和Q总执行时间TcPU;

步骤5:将所有激活的专家按照是否缓存分为已缓存专家L10和未缓存专家I

列表，均按照负载从高到低排序，每次选择一个专家分配到Qg或Qc,单次选择中，若专家E被

分配到Q,负载为i,则TGPu的更新为：若E已缓存：;若E未缓存：TGPU=max(TGPU,Tpcle+TTrans)+TGPU;E未缓存的情况下，Tpcre需要更新为：Tcre=

TpcTe+Trans;若专家E,被分配到CPU队列，负载为i,则Tcu的更新为：TcPU=TcPu+TPU;

步骤6:根据