大规模预训练语言模型微调方法、装置、电子设备及介质.pdfVIP

  • 0
  • 0
  • 约1.76万字
  • 约 14页
  • 2023-08-23 发布于四川
  • 举报

大规模预训练语言模型微调方法、装置、电子设备及介质.pdf

本申请提供一种大规模预训练语言模型微调方法、装置、电子设备及介质。该方法包括:获取预训练好的大规模语言模型,利用任务指令模板对相应任务的输入数据进行改造,得到用于微调训练的输入文本和输出文本,将输出文本作为输入文本对应的正确答案;将输入文本输入到预训练好的大规模语言模型中进行预测,得到预训练好的大规模语言模型输出的预测结果;基于输入文本对应的预测结果以及正确答案,计算损失函数,利用损失函数对预训练好的大规模语言模型的参数进行更新,直至预训练好的大规模语言模型收敛。本申请极大提升了模型部署的效率,

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116629235 A (43)申请公布日 2023.08.22 (21)申请号 202310913374.1 (22)申请日 2023.07.25 (71)申请人 深圳须弥云图空间科技有限公司 地址

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档