深度脉冲神经网络的优化方法：综述.pdfVIP

技术交流

2025(1)数据通信TechnologyDiscussion

深度脉冲神经网络的优化方法：综述

梅子豪（宁波大学信息科学与工程学院浙江宁波315211)

摘要：脉冲神经网络(SNNs，SpikingNeuralNetworks）被称为第三代神经网络，因其低能耗和事件驱动的特

性而备受关注。在面对大规模数据处理时,人工神经网络（ANNs,ArtificialNeuralNetworks）在计算效率和能源消

耗方面仍存在不足。为应对这一挑战,SNNs被提出，其设计灵感来源于生物神经系统。不同于ANNs通过连续的

实数值传递信息,SNNs采用离散脉冲的形式,部署在类脑神经形态的硬件上时,能够实现更高的计算效率和更低

的能源消耗。本文总结了深度脉冲神经网络所面临的瓶颈，并从多个方面介绍了针对这些问题的优化策略。

关键词：脉冲神经网络；深度学习；人工智能;神经形态计算

0引言了信息损失,从而限制了SNNs的特征表达能力。更重

人工神经网络（ANNs）自20世纪中叶问世以来，要的是，由于其不可微分的性质，使得直接应用传统的

经历了多次技术革新和理论发展[。脉冲神经网络反向传播算法进行训练变得行不通。因此,在应用传

(SNNs）被称为第三代神经网络,相较于ANNs,展现了统的BP算法时,必须采用一个与阶跃函数形状近似的

事件驱动特性以及其低能耗的优势,受到了广泛关注。平滑替代函数,在反向传播过程中近似为阶跃函数的

SNNs使用二进制脉冲传递信息,这种方式更接近生物梯度。其梯度计算公式为：

神经系统的通信机制,并且由于这种性质,使其在专门aLaL_as[t]av[t]ax[t]

的神经形态硬件上部署时更加高效。本文主要探讨深W1as[t]av[t]ax[t]aw

度脉冲神经网络的优化策略,根据SNNs的训练瓶颈,其中，as[t]为阶跃函数的导数，当膜电位V[]

aV[t]

可以分为基于时间步长、归一化层、信息损失、时间步

分布和梯度误差的优化方法。等于阅值时，as[t]为无穷大;此外,其值为0。为

aV[t]

使得SNNs能够通过反向传播的方式训练,我们需要通

1脉冲神经网络的瓶颈及分析as[t]

过一个替代梯度函数近似为当前替代函数已

SNNs的优化主要针对脉冲神经元发放脉冲的不aV[t]

可微分的性质，从实数值的膜电位转为二进制脉冲的有多种形式,如Sigmoid、矩形函数等。

过程，导致了信息损失。同时,这种不可微分的性质使然而，这种方法面临一个关键挑战：替代梯度与原

得SNNs在使用反向传播训练时,需要通过替代梯度算始梯度之间存在差异。如果替代函数过于接近原始阶

法进行训练，下面将详细介绍替代梯度算法。跃函数,会导致梯度消失问题,使得网络难以训练；反

替代梯度算法：由于发放脉冲的阶跃函数是不可之,如果替代函数与原始阶跃函数相差较大,则会导致

微分的，它本质上执行了将实数值的膜电位转化为二较大的梯度误差，使得网络优化达到的是次优解。同

进制脉冲的量化过程。这种量化过程不可避免地导致时,这种梯度误差、梯度消失的问题会随着网络深度的