原创力文档- 3
- 0
- 约3.01万字
- 约 25页
- 2023-08-05 发布于四川
- 举报
本公开提供了一种预训练模型压缩方法、装置和电子设备。该方法包括：确定指定隐藏层的第一输出向量和至少两层隐藏层中至少部分隐藏层各自的第二输出向量；基于第一输出向量的聚类结果和各第二输出向量的聚类结果，确定至少部分隐藏层各自的影响占比；以及基于影响占比对预训练模型进行压缩，以减少至少两层隐藏层的层数；其中，指定隐藏层与预训练模型的最后一层隐藏层之间的距离小于至少部分隐藏层与最后一层隐藏层之间的平均距离。
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 111667069 A
(43)申请公布日
2020.09.15
(21)申请号 20201
文档评论（0）