CN119539023A 大语言模型训练方法、装置、计算机设备、介质和产品 （杭州海康威视数字技术股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119539023A

(43)申请公布日2025.02.28

(21)申请号202510026455.9

(22)申请日2025.01.08

(71)申请人杭州海康威视数字技术股份有限公司

地址310051浙江省杭州市滨江区阡陌路

555号

(72)发明人沈力行

(74)专利代理机构深圳市世纪恒程知识产权代理事务所44287

专利代理师罗铭

(51)Int.Cl.

G06N3/092(2023.01)

G06N3/0464(2023.01)

G06N3/0442(2023.01)

G06N3/045(2023.01)

G06F18/214(2023.01)

权利要求书2页说明书12页附图4页

(54)发明名称

大语言模型训练方法、装置、计算机设备、介

质和产品

(57)摘要

CN119539023A本申请实施例提供一种大语言模型训练方法、装置、计算机设备、介质和产品，涉及模型训练技术领域。该方法先通过文本数据对初始MOE模型进行预训练，得到MOE预训练模型，然后通过第二训练集对MOE预训练模型进行多任务训练，使得训练得到MOE对话模型可以根据输入数据生成与输入数据相关的输出结果，从而完成各种不同的任务。最后，对MOE对话模型进行用户偏好引导，得到MOE奖励