定点模型的训练方法和训练装置.pdfVIP

  • 18
  • 0
  • 约1.7万字
  • 约 15页
  • 2023-07-02 发布于四川
  • 举报
本公开实施例公开了一种定点模型的训练方法和训练装置,其中,该训练方法包括:基于训练数据和教师网络模型,确定所述教师网络模型中的目标网络层的输出特征;基于所述训练数据和学生网络模型,确定所述学生网络模型中的目标网络层在量化操作前的特征;基于所述输出特征和所述在量化操作前的特征,确定损失误差;基于所述损失误差,通过反向传播更新所述学生网络模型的参数。本公开实施例可以实现浮点模型对定点模型进行知识蒸馏,提高定点模型的预测准确率。

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113723596 A (43)申请公布日 2021.11.30 (21)申请号 202111033355.7 (22)申请日 2021.09.03 (71)申请人 北京地平线信息技术有限公司

文档评论(0)

1亿VIP精品文档

相关文档