注意力机制量化剪枝优化方法.pdfVIP

第４６卷第１期国防科技大学学报Ｖｏｌ．４６Ｎｏ．１

２０２４年２月ＪＯＵＲＮＡＬＯＦＮＡＴＩＯＮＡＬＵＮＩＶＥＲＳＩＴＹＯＦＤＥＦＥＮＳＥＴＥＣＨＮＯＬＯＧＹＦｅｂ．２０２４

ｄｏｉ：１０．１１８８７／ｊ．ｃｎ．２０２４０１０１２ｈｔｔｐ：／／ｊｏｕｒｎａｌ．ｎｕｄｔ．ｅｄｕ．ｃｎ

注意力机制量化剪枝优化方法

１，２１，２１，２

何源宏，姜晶菲，许金伟

（１．国防科技大学计算机学院，湖南长沙４１００７３；

２．国防科技大学并行与分布计算全国重点实验室，湖南长沙４１００７３）

摘要：面向基于注意力机制模型的巨大计算和访存开销问题，研究量化和剪枝协同优化的模型压缩技

术，提出针对注意力机制中查询、键、值、概率共四个激活值矩阵的对称线性定点量化方法。同时，提出概率矩

阵剪枝方法和渐进式剪枝策略，有效降低剪枝精度损失。在不同数据集上的实验结果表明，针对典型基于注

意力机制模型ＢＥＲＴ，在较低或者没有精度损失的情况下该优化方法可达到４位或８位定点量化、０９３～０９８

的稀疏度，大幅度降低模型计算量，为加速量化稀疏模型的推理奠定良好的基础。

听



语与

关键词：自然语言处理；注意力机制；量化；剪枝

音作

者

中图分类号：ＴＰ１８文献标志码：Ａ开放科学（资源服务）标识码（ＯＳＩＤ）：

聊互



科动

文章编号：１００１－２４８６（２０２４）０１－１１３－０８研





Ｑｕａｎｔｉｚａｔｉｏｎａｎｄｐｒｕｎｉｎｇｏｐｔｉｍｉｚａｔｉｏｎｍｅｔｈｏｄｆｏｒ