基于事件相机的动态物检测与识别方法研究.pdfVIP

摘要

随着计算机视觉技术的不断发展，动态物体检测与识别的准确率和速度需求

在不断提高。同时在高速运动场景和复杂光照场景下传统相机面临运动模糊、过曝

欠曝等问题，使目前相关算法面临巨大挑战。针对这些问题，本文引入了事件相机

这一新型视觉传感器。事件相机作为一种仿生视觉传感器，其独特的高时间分辨率、

宽动态范围、低能耗使其在复杂环境时表现出独特的优势。并且事件相机在获取动

态物信息时极大减少了冗余数据，有效提高了动态物检测与识别的准确率和效率。

本文依托事件相机的工作机理与输出数据特性，探讨其事件信息表征物体特

征的能力，提出了时空密度孤点降噪算法、优化的相位与时间编码方法以及基于固

定时间窗事件压帧技术三种数据预处理手段。首先通过筛选在给定时间窗口内非

相邻的噪声事件，并为事件矩阵设置双存储单元记录噪声信息，有效提升了处理效

率与降噪准确性。将经降噪后的事件数据通过脉冲编码转化为蕴含一致信息分布

的脉冲序列，用作脉冲神经网络的输入，进行基于事件的分类识别研究；同时将降

噪后的事件数据按固定时间切片整合为事件帧图像，作为动态物检测网络的输入。

为实现高效分类识别，本文将经过降噪和脉冲编码预处理的事件数据输入到

设计的两种SNN模型中。第一种方法是构造与SNN相同拓扑结构的ANN模型进

行训练，随后将训练好的ANN模型转换为SNN模型，以此方式训练出的SNN模

型在分类准确率上接近原始的ANN模型。另一种方法则是利用BPTT算法直接训

练SNN模型，通过约束突触操作，限制各层神经元脉冲发射频率，降低网络能耗

并增强了模型对硬件的兼容性。

本文还设计了基于YOLOv5s网络的YOLOv5s-DVS动态物检测网络。网络融

入了CBAM注意力机制，并通过采用空洞卷积技术优化了原有SPP结构，提高网

络特征提取融合效能。总体来说，YOLOv5s-DVS网络在保持原有高检测速率的前

提下，增加了网络深度以提高检测准确率。实验结果显示，在自建的P-C数据集

上，YOLOv5s-DVS网络达到了91.56%的平均精度（mAP）和175检测帧率（FPS），

充分验证了该算法具有较高的检测准确率和检测速率，有良好综合检测性能。

关键词：事件相机，事件信息预处理，动态物检测，分类识别

ABSTRACT

Withthecontinuousdevelopmentofcomputervisiontechnology,theaccuracyand

speedrequirementsfordynamicobjectdetectionandrecognitionareconstantly

increasing.Atthesametime,inhigh-speedmotionscenesandcomplexlightingscenes,

traditionalcamerasfacetheproblemsofmotionblur,overexposureandunderexposure,

whichmakesthecurrentrelevantalgorithmsfacegreatchallenges.Tosolvethese

problems,anewvisionsensorcalledeventcameraisintroducedinthispaper.Asabionic

visionsensor,eventcamerahasuniqueadvantagesincomplexenvironmentduetoits

hightimeresolution,widedynamicrangeandlowenergyconsumption.Moreover,the

eventcameragreatlyreducestheredundantdatawhenacquiringdynamicobject

information,andeffectivelyimprovestheaccuracyandefficiencyofdynamic