基于Transformer模型的数据预测方法、装置、服务器及存储介质.pdfVIP

  • 6
  • 0
  • 约2.47万字
  • 约 20页
  • 2023-06-19 发布于四川
  • 举报

基于Transformer模型的数据预测方法、装置、服务器及存储介质.pdf

本申请涉及人工智能,提供一种基于Transformer模型的数据预测方法、装置、服务器及存储介质,该方法包括:获取样本语句的多个字词的词向量组成的词向量矩阵,并调用包括自注意力层的Transformer模型;将词向量矩阵输入自注意力层,以根据词向量矩阵生成查询矩阵、键矩阵和值矩阵,并根据随机失活算法和词向量矩阵生成注意力矩阵,以及根据查询矩阵、键矩阵、值矩阵和注意力矩阵,确定多个字词之间的关注程度的概率分布矩阵;根据概率分布矩阵调整Transformer模型的模型参数,直至模型收敛;获取待预测的

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113282707 A (43)申请公布日 2021.08.20 (21)申请号 202110603398.8 G06F 40/284 (2020.01) (22)申请日

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档