CN119831036A 基于多级投机采样的大语言模型推理方法、装置及设备 （中电信人工智能科技(北京)有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119831036A

(43)申请公布日2025.04.15

(21)申请号202411874739.5

(22)申请日2024.12.18

(71)申请人中电信人工智能科技（北京）有限公司

地址100032北京市西城区西四北大街

156、158、160号2幢1至2层2-6、2-9内01

(72)发明人刘欣璋王超宋双永李永翔何忠江

(74)专利代理机构广州嘉权专利商标事务所有限公司44205

专利代理师谭英强

(51)Int.Cl.

G06N5/04(2023.01)

G06N20/00(2019.01)

权利要求书2页说明书12页附图6页

(54)发明名称

基于多级投机采样的大语言模型推理方法、

装置及设备

(57)摘要

CN119831036A本申请公开了基于多级投机采样的大语言模型推理方法、装置及设备，涉及人工智能技术领域，方法包括：若与输入文本匹配的第一草稿经过修改，则将第一草稿输入到生成第一草稿的目标层级草稿模型；利用第一草稿当前所处层级的草稿模型根据第一草稿生成第二草稿；将第二草稿输入到下一层级草稿模型，并判断下一层级草稿模型是否对第二草稿作出修改；若第二草稿经过修改，则返回生成第二草稿的步骤；或，若第二草稿未经过修改，则返回判断第二草稿