CN119558353A 基于蒸馏学习的学生模型优化方法、设备及可读存储介质 （浙江大华技术股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119558353A

(43)申请公布日2025.03.04

(21)申请号202510132774.8

(22)申请日2025.02.06

(71)申请人浙江大华技术股份有限公司

地址310051浙江省杭州市滨江区滨安路

1187号

申请人浙江大学

(72)发明人殷俊吴飞冯少迪

(74)专利代理机构深圳市威世博知识产权代理事务所(普通合伙)44280

专利代理师严翠霞

(51)Int.Cl.

G06N3/045(2023.01)

G06N3/096(2023.01)

权利要求书3页说明书15页附图4页

(54)发明名称

基于蒸馏学习的学生模型优化方法、设备及

可读存储介质

(57)摘要

CN119558353A本申请公开了基于蒸馏学习的学生模型优化方法、设备及可读存储介质，该方法包括：根据学生模型的各第一编码模块中每一注意力层的查询向量、键向量和值向量中的至少一个确定各第一编码模块的第一向量关系值和/或任两第一编码模块之间的第二向量关系值；根据教师模型的各第二编码模块中每一注意力层的查询向量、键向量和值向量中的至少一个确定各第二编码模块的第三向量关系值和/或任两第二编码模块之间的第四向量关系值；根据第一向量关系值和第三向量关系值之间的第一关系差异和/