CN119808839A 一种大语言模型预训练方法、装置、电子设备及存储介质 （中电信人工智能科技(北京)有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119808839A

(43)申请公布日2025.04.11

(21)申请号202411919771.0

(22)申请日2024.12.24

(71)申请人中电信人工智能科技（北京）有限公司

地址100032北京市西城区西四北大街

156、158、160号2幢1至2层2-6、2-9内01

(72)发明人熊思诗何忠江赵宇宋双永李永翔

(74)专利代理机构广州嘉权专利商标事务所有限公司44205

专利代理师谭英强

(51)Int.Cl.

G06N3/0455(2023.01)

G06N3/096(2023.01)

权利要求书3页说明书16页附图8页

(54)发明名称

一种大语言模型预训练方法、装置、电子设

备及存储介质

(57)摘要

CN119808839A本申请公开了一种大语言模型预训练方法、装置、电子设备及存储介质，涉及人工智能技术领域，方法包括：获取多类型的文本数据，并对文本数据进行预处理，得到初始预训练数据集；基于Transformer模型的解码器架构构建生成式大语言模型；根据初始预训练数据集对生成式大语言模型进行多个阶段的训练；根据教师模型和初始预训练数据集合成自蒸馏混合数据集；每个阶段训练后的生成式大语言模型作为教师模型；利用自蒸馏混合数据集