- 4
- 0
- 约1.98万字
- 约 21页
- 2023-12-30 发布于四川
- 举报
本发明涉及语言处理技术领域,尤其涉及一种自重建方式的语言模型训练方法,其包括如下步骤:步骤S1:从预训练文本中提取至少一句待训练语句并将其分割为单字序列,对应单子序列经过位置编码映射成文本矩阵;步骤S2:结合transformer模型和自注意力机制建立神经网络结构;步骤S3:文本矩阵作为神经网络结构的输入样本,将transformer模型作为参数进行训练并优化后得到目标函数;步骤S4:通过重复步骤S1~S3更新目标函数,直至达到设定的优化条件从而获取预训练模型。本发明还提供一种系统及电子设备。
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号CN110837733A
(43)申请公布日
2020.02.25
(21)申请号20191
您可能关注的文档
最近下载
- 供应室无菌物品发放追溯管理制度及流程.docx VIP
- ABBPCM600软件使用方法详解.docx
- (2026年)解读版《治安管理处罚法》PPT课件.pptx VIP
- (高清版)B-T 25684.3-2021 土方机械 安全 第3部分:装载机的要求.pdf VIP
- 新职工岗前培训考试(心电图)试题及答案.docx VIP
- 校企合作协议.docx VIP
- (高清版)B-T 25684.6-2021 土方机械 安全 第6部分:自卸车的要求.pdf VIP
- 校企合作协议校企合作协议合同.docx VIP
- 校企联合研究中心合作协议(新修订范本).docx VIP
- (高清版)B-T 25684.5-2021 土方机械 安全 第5部分:液压挖掘机的要求.pdf VIP
原创力文档

文档评论(0)