CN116702865B 基于知识迁移的脉冲神经网络训练方法、设备及存储介质 （河海大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN116702865B(45)授权公告日2025.07.04

(21)申请号202310712420.1

(22)申请日2023.06.15

(65)同一申请的已公布的文献号申请公布号CN116702865A

(43)申请公布日2023.09.05

(73)专利权人河海大学

地址211100江苏省南京市江宁区佛城西

路8号

(72)发明人谢在鹏高原陈鹏刘子昂

(74)专利代理机构南京经纬专利商标代理有限公司32200

专利代理师田凌涛

(51)Int.CI.

GO6N3/084(2023.01)

GO6N3/096(2023.01)

GO6N3/06(2006.01)

GO6N3/048(2023.01)

(56)对比文件

CN116151335A,2023.05.23CN115482578A,2022.12.16审查员王宛生

权利要求书4页说明书8页附图3页

(54)发明名称

基于知识迁移的脉冲神经网络训练方法、设备及存储介质

(57)摘要

本发明公开了一种基于知识迁移的脉冲神经网络训练方法，包括：构建数据集；构建教师ANN网络，用误差反向传播算法进行训练；构建脉冲神经网络SNN,记为学生网络，学生网络采用LIF神经元，并为LIF神经元引入近似梯度函数；利用反向传播算法训练SNN,在训练过程中，

重是者数做及这相最大面

CN

CN116702865B

CN116702865B权利要求书1/4页

2

1.一种基于知识迁移的脉冲神经网络训练方法，其特征在于，包括如下步骤：

步骤1:构建CIFAR-10的图片分类任务数据集D,将数据集D按一定比例分成训练集DTrain和测试集DTest;

步骤2:构建教师ANN网络，用误差反向传播算法在DTrain上训练教师ANN网络，得到训练后的教师网络Net,并保存教师网络Net,中的权重参数；

步骤3:构建脉冲神经网络SNN,记为学生网络Nets,学生网络Nets采用具有脉冲累积一发射和泄露特性的LIF神经元，并为LIF神经元引入近似梯度函数F;

步骤4:定义训练学生网络Nets的中间层损失函数[n和输出层损失函数LN;

步骤5:将教师网络Net,已习得知识迁移到学生网络Nets中：分别在教师网络Net?和学生网络Nets上做前向传播，得到二者的中间层输出，以及输出层输出；计算学生网络Nets的

中间层损失函数Ln和输出层损失函数LN,利用神经网络优化器执行梯度下降算法，训练学生网络Nets;若学生网络Nets的模型收敛或达到最大训练轮次，则执行步骤6,否则返回步骤5;

步骤6:在测试集DTest上测试学生网络Nets的性能表现，得到训练完成的脉冲神经网络。

2.根据权利要求1所述的一种基于知识迁移的脉冲神经网络训练方法，其特征在于，步骤2具体包括：

S210:随机初始化Net的权重参数

w+~RandomInitialization

S220:对于每个训练样本(x,,y)∈DTrain,计算样本的预测结果：

i=Netr(x;,wt)

式中，x;表示输入样本，w表示模型参数，是网络预测结果；

S230:计算所有训练样本预测结果与实际标签之间的损失：

;,yi)

其中定义为两个输入之间的交叉熵；

S240:计算损失函数L对模型参数w的梯度：

S250:使用梯度下降优化算法更新模型参数：

其中α是学习率，控制每次参数更新的步长；

重复步骤S220～S250,直到模型收敛或达到预定的训练轮数，保存Net的模型参数θ,供后续训练Nets时使用。

3.根据权利要求1所述的一种基于知识迁移的脉冲神经网络训练方法，其特征在于，步骤3中所述LIF神经元模型包含以下部分：

输入电流I:神经元接收到的来自其他神经元或环境的输入电流；

CN116702865B权利要求书2/4页

3

膜电位U:神经元的膜电位是表示LIF神经元内部电势的固有属性，输入电流会影响神经元的膜电位，使其逐渐升高；

阈值V:当神经元的膜电位超过特定的阈值时，神经元会发放一个电脉冲；

静息电位Ureset:神经元发