基于脉冲神经网络的光流估计算法研究.pdfVIP

摘要

光流是对物体运动信息的描述方式，在结构空间信息和运动时间信息占主导

的任务上有很大潜力。然而使用传统相机成像进行光流估计在低光、高速等诸多场

景下会出现图像模糊、时间分辨率低等问题。事件相机具有高动态范围、高时间分

辨率等优势，能够较好地解决上述问题，提供更多的场景选择。脉冲神经网络

(SpikingNeuralNetwork,SNN)提供异步事件驱动的计算，天然适合事件数据。本学

位论文提出时空特征融合光流估计网络(Spatio-temporalFeaturesFusionOptical

FlowEstimationNetwork，ST-FlowNet)。ST-FlowNet将不同尺度的特征信息进行互

补性融合，并且利用已获取的光流信息修正预测光流。由于ANN更加成熟在光流

精度上优于SNN，因此本学位论文对ST-FlowNet使用ANN转SNN的训练策略，

然后分别在三个事件相机数据集上进行实验，取得了以下结果：

第一、对比现有主流ANN方法，ST-FlowNet在参数量和计算量相差不多情况

下所有场景的光流总平均端点误差最低。在参数量和计算量低于以往最优结果方

法69.1%和87.9%的情况下光流总平均端点误差