CN115409870B 基于脉冲编码可学习snn的目标跟踪方法及电子设备 （西安电子科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115409870B(45)授权公告日2025.07.04

(21)申请号202211084460.8

(22)申请日2022.09.06

(65)同一申请的已公布的文献号申请公布号CN115409870A

(43)申请公布日2022.11.29

(73)专利权人西安电子科技大学

地址710071陕西省西安市太白南路2号

(72)发明人项水英张涛蒋树庆张雅慧郭星星施跃春郝跃

(74)专利代理机构西安嘉思特知识产权代理事务所(普通合伙)61230

专利代理师万艳艳

GO6N3/0464(2023.01)

GO6N3/049(2023.01)

GO6N3/045(2023.01)

GO6N3/048(2023.01)

GO6N3/084(2023.01)

GO6V10/82(2022.01)

(56)对比文件

CN114694079A,2022.07.01CN114926505A,2022.08.19审查员王永贵

(51)Int.CI.

GO6T7/246(2017.01)

GO6V10/764(2022.01)权利要求书2页说明书11页附图3页

(54)发明名称

基于脉冲编码可学习SNN的目标跟踪方法及电子设备

(57)摘要

CN115409870B本发明公开了一种基于脉冲编码可学习SNN的目标跟踪方法，包括：将视频分解为多帧图像，并将第一帧图像变换到第一尺度，以及将其他帧图像变换到第二尺度，得到视频帧序列；基于脉冲神经网络模型对视频帧序列进行目标跟踪；该模型是对SiamFC++网络进行改造得到的，改造方式为将SiamFC++网络中的backbone替换为一前端网络；该前端网络包括两个分支，每个分支均包括脉冲编码模块、脉冲特征提取模块以及求点火率模块，脉冲编码模块用于将图像编码为由二进制数组成的五维编码向量；脉冲特征提取模块用于从五维编码向量中提取脉冲特征；求点火率

CN115409870B

玛路

玛路脉冲特征

256×6×6

3×303×300

搜索帧

日归矩阵

分类矩阵

衣展a×

模版帧

4×17×17

脉冲编码校块脉冲特征提取模块求点火率模块

CN115409870B权利要求书1/2页

2

1.一种基于脉冲编码可学习SNN的目标跟踪方法，其特征在于，包括：

将待进行目标跟踪的视频分解为多帧图像，并将其中的第一帧图像变换到第一尺度，以及将其他帧图像变换到第二尺度，得到预处理后的视频帧序列；

基于预先训练完成的脉冲神经网络模型对所述视频帧序列进行目标跟踪；

其中，所述脉冲神经网络模型是对SiamFC++网络进行改造得到的，改造方式为将SiamFC++网络中的网络骨干backbone替换为一前端网络；所述前端网络包括两个分支，所述两个分支分别用于对不同尺度的图像进行前端处理；

所述前端网络的每个分支均包括脉冲编码模块、脉冲特征提取模块以及求点火率模块，其中，所述脉冲编码模块，用于将图像编码为由二进制数组成的五维编码向量[t,b,c,

h,w];t表示时间维度，b表示batchsize维度，c表示图像通道维度，h表示图像高度维度，w表示图像宽度维度；所述脉冲特征提取模块，用于从所述五维编码向量中提取脉冲特征；所述求点火率模块，用于从所述脉冲特征中去除时间维度t。

2.根据权利要求1所述的基于脉冲编码可学习SNN的目标跟踪方法，其特征在于，所述脉冲编码模块，包括：卷积层、时间域扩展子模块以及IF神经元层；

所述卷积层，用于将图像编码为四维编码向量[b,c,h,w];所述四维编码向量非是由二进制数组成的；

所述时间域扩展子模块，用于将所述四维编码向量在时间域上进行扩展，得到扩展向量；

所述IF神经元层，用于将所述扩展向量激活为所述五维编码向量。

3.根据权利要求2所述的基于脉冲编码可学习SNN的目标跟踪方法，其特征在于，所述时间域扩展子模块，将所述四维编码向量在时间域上进行扩展，得到扩展向量，包括