1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种高效的Transformer的量化压缩方法.pdfVIP

  • 19
  • 0
  • 约1.43万字
  • 约 13页
  • 2023-06-24 发布于四川
  • 举报

一种高效的Transformer的量化压缩方法.pdf

    本发明提供了一种高效的Transformer的量化方法，包括：对Transformer模型进行训练后量化，获得预训练后的模型原始权重张量；对Transformer模型进行每通道量化，对每个通道的bit位数进行重分配；根据初始化量化函数对每通道进行量化得到量化缩放因子以及整型权重张量；利用分层激活重构误差最小化法和位分割算法缩放因子和整型权重张量进行优化。本发明的量化优化方法能够使Transformer的模型在低比特量化的情况下保持较高的精度。

    (19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116306877 A (43)申请公布日 2023.06.23 (21)申请号 202211475716.8 (22)申请日 2022.11.23 (71)申请人 南京邮电大学 地址 210000

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >