自重建方式的语言模型训练方法、系统及电子设备.pdfVIP

  • 4
  • 0
  • 约1.98万字
  • 约 21页
  • 2023-12-30 发布于四川
  • 举报

自重建方式的语言模型训练方法、系统及电子设备.pdf

本发明涉及语言处理技术领域,尤其涉及一种自重建方式的语言模型训练方法,其包括如下步骤:步骤S1:从预训练文本中提取至少一句待训练语句并将其分割为单字序列,对应单子序列经过位置编码映射成文本矩阵;步骤S2:结合transformer模型和自注意力机制建立神经网络结构;步骤S3:文本矩阵作为神经网络结构的输入样本,将transformer模型作为参数进行训练并优化后得到目标函数;步骤S4:通过重复步骤S1~S3更新目标函数,直至达到设定的优化条件从而获取预训练模型。本发明还提供一种系统及电子设备。

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号CN110837733A

(43)申请公布日

2020.02.25

(21)申请号20191

文档评论(0)

1亿VIP精品文档

相关文档