CN119721297A 语言模型训练方法、语言任务处理方法及系统 （科大讯飞股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119721297A

(43)申请公布日2025.03.28

(21)申请号202411951357.8

(22)申请日2024.12.27

(71)申请人科大讯飞股份有限公司

地址230088安徽省合肥市高新开发区望

江西路666号

(72)发明人唐晨君王士进

(74)专利代理机构北京路浩知识产权代理有限

公司11002

专利代理师蔺向星

(51)Int.Cl.

G06N20/00(2019.01)

G06F17/16(2006.01)

G06N5/04(2023.01)

G06F40/58(2020.01)

G06F40/30(2020.01)

权利要求书3页说明书15页附图3页

(54)发明名称

语言模型训练方法、语言任务处理方法及系

统

(57)摘要

CN119721297A本发明提供一种语言模型训练方法、语言任务处理方法及系统，其中方法包括：根据样本语言数据和样本语言数据对应的样本语言任务的标注标签，获取大语言模型在当前周期的当前模型参数矩阵对应的原始增量矩阵；根据原始增量矩阵中各子矩阵的数据分布特征，对原始增量矩阵进行降秩处理，得到当前模型参数矩阵对应的目标增量矩阵；根据目标增量矩阵，对当前模型参数矩阵进行更新，根据更新结果，构建样本语