CN119831053A 一种基于自适应投机解码的大模型推理加速方法及系统 （同济大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119831053A

(43)申请公布日2025.04.15

(21)申请号202510264368.7

(22)申请日2025.03.06

(71)申请人同济大学

地址200092上海市杨浦区四平路1239号

(72)发明人史清江黄开宇施朱博徐凡

(74)专利代理机构上海德昭知识产权代理有限

公司31204

专利代理师王雪欣陈龙梅

(51)Int.Cl.

G06N5/04(2023.01)

权利要求书4页说明书8页附图2页

(54)发明名称

一种基于自适应投机解码的大模型推理加

速方法及系统

(57)摘要

CN119831053A本发明提供了一种基于自适应投机采样的大模型推理加速方法及系统，属于电子信息领域。本发明通过预测接受词元数量和当前迭代所需要的运行时间估计吞吐量，再通过投机控制器决定是否执行投机解码，通过草稿模型更新草稿序列集并估计更新后的吞吐量，直到投机长度达到取得最优吞吐量的最优值，再通过置信度优先验证器筛选出高接受率词元，经目标模型验证后则得到投机解码的输出序列集。本发明的一种基于自适应投机采样的大模型推理加速方法及系统能够自适应地在各种真实大模型推理场景中

CN119831053A

CN119831053A