基于语言模型获取词向量的方法、装置、设备及存储介质.pdfVIP

  • 3
  • 0
  • 约2.89万字
  • 约 23页
  • 2024-03-27 发布于四川
  • 举报

基于语言模型获取词向量的方法、装置、设备及存储介质.pdf

本申请公开了一种基于语言模型获取词向量的方法、装置、设备及存储介质,涉及人工智能中的自然语言处理技术领域。具体实现方案为:分别将至少两个第一样本文本语料中的每个第一样本文本语料输入语言模型,经所述语言模型输出每个所述第一样本文本语料中第一词掩码的上下文向量;分别基于第一词向量参数矩阵、第二词向量参数矩阵和全连接矩阵确定每个所述第一词掩码对应的词向量;基于所述至少两个第一样本文本语料中第一词掩码对应的词向量对所述语言模型和所述全连接矩阵进行训练,得到词向量。本申请可以避免基于字粒度学习引起信息泄露

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号CN111737996A

(43)申请公布日2020.10.02

(21)申请号202010479752.6

(22)申请日2020.05.29

(71)申请人北京

文档评论(0)

1亿VIP精品文档

相关文档