一种基于深度学习模型的推理方法.pdfVIP

  • 16
  • 0
  • 约2.9万字
  • 约 24页
  • 2023-07-07 发布于四川
  • 举报
本发明公开了一种基于深度学习模型的推理方法。该深度学习模型包括多个依次连接的模型层,各模型层具有其权重矩阵。该方法包括步骤:接收要由深度学习模型进行推理计算的输入矩阵,以便将输入矩阵中的每个输入矩阵单元量化为具有第一比特位数的整数值;利用各模型层执行推理,其中由多个依次连接的模型层中的第一层接收量化后的输入矩阵,利用其权重矩阵对输入矩阵进行矩阵运算以产生输出矩阵,将输出矩阵中的每个矩阵单元重新量化为具有第一比特位数的整数值,并将输出矩阵发送给下一层模型进行进一步运算;以及基于多个依次连接的模型层

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113869517 A (43)申请公布日 2021.12.31 (21)申请号 202010621651.8 (22)申请日 2020.06.30 (71)申请人 阿里

文档评论(0)

1亿VIP精品文档

相关文档