CN119647605A 基于在线结构剪枝的文本推理方法以及相关设备 （鹏城实验室）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119647605A

(43)申请公布日2025.03.18

(21)申请号202510180806.1

(22)申请日2025.02.19

(71)申请人鹏城实验室

地址518000广东省深圳市南山区兴科一

街2号

(72)发明人吴泽斌田永鸿

(74)专利代理机构广州嘉权专利商标事务所有限公司44205

专利代理师叶恩华

(51)Int.Cl.

G06N5/04(2023.01)

G06N3/082(2023.01)

G06N3/0455(2023.01)

权利要求书2页说明书16页附图6页

(54)发明名称

基于在线结构剪枝的文本推理方法以及相

关设备

(57)摘要

CN119647605A本申请提供了一种基于在线结构剪枝的文本推理方法以及相关设备，方法包括：在接收到文本推理任务时，获取未进行剪枝的文本推理模型，以及获取文本推理模型中多个解码层基于目标结构化剪枝算法进行剪枝时生成的掩模信息和算法参数信息；针对文本推理模型中的每个解码层，分别根据对应的掩模信息对解码层进行权重掩模处理，以及根据对应的算法参数信息对解码层进行输出补偿处理，得到目标剪枝模型；通过目标剪枝模型执行文本推理任务，得到文本推理结果，其中，本申请可以在推理时基于掩模信息和算法参数信息