基于乘子交替方向法的BERT模型训练方法及系统.pdfVIP

  • 11
  • 0
  • 约2.43万字
  • 约 17页
  • 2023-05-17 发布于四川
  • 举报

基于乘子交替方向法的BERT模型训练方法及系统.pdf

本发明公开一种基于乘子交替方向法的BERT模型训练方法及系统,该方法步骤包括:步骤S1.从训练集中取出待训练语句并提取出词向量后输入至BERT模型中;步骤S2.在BERT模型对输入词向量进行训练时,使用乘子交替方向法对目标函数进行求解,其中确定出目标函数,并对输入词向量加入限制条件,将确定的目标函数变换为增强拉格朗日函数,通过求解增强拉格朗日函数求解出目标函数中各变量参数以及BERT模型的输出结果;步骤S3.对目标函数中求解的变量参数进行更新,直至完成训练,得到最终的BERT模型训练结果输出。本

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114818725 A (43)申请公布日 2022.07.29 (21)申请号 202210368115.0 (22)申请日 2022.04.08 (71)申请人 中国人民解放军国防

文档评论(0)

1亿VIP精品文档

相关文档