基于平衡权重稀疏和Group Lasso正则化的自适应DNN压缩方法.pdfVIP

  • 2
  • 0
  • 约1.81万字
  • 约 13页
  • 2023-07-19 发布于四川
  • 举报

基于平衡权重稀疏和Group Lasso正则化的自适应DNN压缩方法.pdf

本发明公开了一种基于平衡权重稀疏和GroupLasso正则化的自适应DNN压缩方法,属于模型压缩领域。该方法根据要满足的模型推理速度要求和模型部署时的存储大小限制,从而完成DNN的自适应模型剪枝。本发明结合多种剪枝方法并面向实时嵌入式系统对模型进行剪枝,主要包括以下步骤:引入模型参数,添加正则项定义模型优化问题,预训练神经网络模型,然后针对预训练模型的全连接层进行平衡权重稀疏剪枝,针对平衡权重稀疏剪枝后的模型卷积层进行结构化剪枝和节点剪枝,最后根据是否满足约束选择迭代剪枝或者结束剪枝得到压缩后模

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116451586 A (43)申请公布日 2023.07.18 (21)申请号 202310452205.2 G06F 111/04 (2020.01) (22)申请日 2023.04

文档评论(0)

1亿VIP精品文档

相关文档