一种基于自适应PoT量化的无乘法神经网络训练方法.pdfVIP

高技术通讯2024年第34卷第6期:567-577

doi:10.3772/j.issn.1002-0470.2024.06.002

一种基于自适应PoT量化的无乘法神经网络训练方法①

刘畅②∗∗∗张蕊③∗∗∗∗∗支天∗∗∗∗∗

∗

(中国科学院大学北京100049)

∗∗

(中国科学院计算技术研究所智能处理器研究中心北京100190)

∗∗∗

(中国科学院计算技术研究所处理器芯片全国重点实验室北京100190)

摘要当前的深度神经网络的训练过程中需要包含大量的全精度乘累加(MAC)操作,

导致神经网络模型的线性层(包含卷积层和全连接层)的计算过程所需的能耗占整体能

耗的绝大部分,达90%以上。本文提出了一种自适应逐层缩放的量化训练方法,可支持

在神经网络计算全流程(前向传播和后向传播)将全部线性层中的全精度乘法替换为4

位定点数加法计算和1位异或运算。实验结果表明,上述方法在能耗和准确率方面都优

于现有方法,可支撑在训练过程中减少达95.8%的线性层能耗,在ImageNet数据集上的

卷积神经网络和在WMTEn-De任务上的Transformer网络得到小于1%的精度损失。

关键词神经网络;量化;训练加速;低能耗

[8-9]

近年来,深度神经网络(deepneuralnetwork,DNN)型进行微调得到低位宽模型,因此它们不能减

在许多人工智能应用中取得了显著的效果。然而,少训练过程中的能耗。还有方法通过将权重

训练DNN会消耗大量能量。例如,训练一个深度双(weight,W)、激活(activation,A)和激活梯度(gradi-

向语言表征模型需要耗948kW·h的能源,这超过ent,G)量化为16位[10-11]或8位[12-15]从头开始训练

[1-2]

了全球平均每年人均家庭用电量(731kW·h)。模型。此外,乘法本身的能耗明显高于加法和移位

此外,DNN训练的巨大能源消耗会显着增加碳排等低功耗操作。例如,32位定点数(32bitInteger,

[3-4]

放,从而对全球气候产生负面影响。因此,迫切INT32)乘法的能耗大约比INT32加法高22倍。因

需要降低DNN训练的能耗。此,有一些无乘法的方法可以直接用加法和移位等

在DNN训练中,线性层(包括卷积层和全连接低功耗运算代替乘法[16-22]。然而,以上现有的量化

[5-7]

层)的能耗占总能耗的绝大部分,超过90%,因方法和无乘法方法不能以低精度低能耗操作代替前

为乘法累加(multipleaccumulate,MAC)操作中大量向和后向传播过程中的所有全精度线性层乘法。因

使用耗能的全精度32位浮点数(32bitfloatingpoint,此,这些工作可以减少的训练能耗是有限的。

FP32)乘法。FP32乘法运算非常耗能,部分原因在本工作提出了一种无乘法MAC(multiplication-

于它的高位宽。例如,FP32乘法