CN119849579A 大语言模型的参数剪枝方法、装置、设备及可读存储介质 （鹏城实验室）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119849579A

(43)申请公布日2025.04.18

(21)申请号202510320883.2

(22)申请日2025.03.18

(71)申请人鹏城实验室

地址518000广东省深圳市南山区兴科一

街2号

(72)发明人吴泽斌田永鸿

(74)专利代理机构广州嘉权专利商标事务所有限公司44205

专利代理师孙浩

(51)Int.Cl.

G06N3/082(2023.01)

G06N3/045(2023.01)

G06F17/16(2006.01)

权利要求书3页说明书21页附图5页

(54)发明名称

大语言模型的参数剪枝方法、装置、设备及

可读存储介质

(57)摘要

CN119849579A本申请实施例提供了一种大语言模型的参数剪枝方法、装置、设备及可读存储介质。方法包括：获取预设大语言模型中每个网络层的第一度量矩阵，并确定对应网络层的剪枝率；针对每个网络层包含的多个注意力头确定多个重要性得分，并构建第二度量矩阵；根据剪枝率和第二度量矩阵确定第二度量矩阵的第一标定矩阵，并基于第一标定矩阵的稀疏分布特性得到第一掩码矩阵；对键通道和值通道进行剪枝；根据目标数量和第二度量矩阵确定第二度量矩阵的第二标定矩阵，并基于第二标定矩阵的稀疏分布特性得到第二掩码矩