语言模型的预训练方法、装置、设备和存储介质.pdfVIP

下载本文档

0
0
约1.81万字
约 17页
2023-04-21 发布于四川
举报

语言模型的预训练方法、装置、设备和存储介质.pdf

本申请公开了一种语言模型的预训练方法、装置、设备和存储介质，涉及计算机技术领域，尤其涉及深度学习及自然语言处理领域。具体实现方案为：根据搜索词、搜索结果和历史行为日志，构建语义图，并对语义图进行采样，生成第一文本序列；对第一文本序列中的第一文本进行掩码处理，得到第二文本序列，并通过初始模型之中编码器对第二文本序列中第二文本进行编码，生成第二文本的第一语义表征；将第一语义表征输入至初始模型之中图聚合模块，获得第二文本的第二语义表征；对第二语义表征进行掩码预测，获得第二文本中掩盖词的预测值，并根据掩

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113902005 A (43)申请公布日 2022.01.07 (21)申请号 202111162206.0 (22)申请日 2021.09.30 (71)申请人北京百度网讯科技有限公司

您可能关注的文档

文档评论（0）

1亿VIP精品文档

更多 >

语言模型的预训练方法、装置、设备和存储介质.pdfVIP

语言模型的预训练方法、装置、设备和存储介质.pdf

您可能关注的文档

最近下载

文档评论（0）

1亿VIP精品文档

相关文档