基于事件相机(DVS)与脉冲神经网络的超高速动态手势识别与低延迟交互设计.docxVIP

PAGE2

基于事件相机(DVS)与脉冲神经网络的超高速动态手势识别与低延迟交互设计

摘要

随着人机交互技术向自然化、智能化发展，传统基于帧相机的手势识别方案受限于帧率与数据冗余，难以满足高速运动捕捉与低延迟响应的现实需求。本课题针对现有方案在快速运动模糊、高延迟及高功耗方面的痛点，设计并实现了一种基于事件相机（DVS）与脉冲神经网络（SNN）的超高速动态手势识别系统。系统利用DVS微秒级时间分辨率捕捉手势流，在FPGA平台上构建脉冲卷积加速器，实现了端到端的低延迟隔空操控。

论文首先分析了动态视觉传感器在高速场景下的优势，确立了以低延迟、低功耗为核心的系统设计目标。在总体设计阶段，构建了“事件流采集-脉冲特征提取-硬件加速推理-交互指令响应”的系统架构，完成了基于LIF神经元模型的SNN网络设计。在详细设计与实现阶段，设计了适合FPGA部署的并行脉冲卷积计算单元，解决了事件数据异步处理与网络同步推理的匹配难题，并完成了硬件逻辑开发与驱动编写。测试结果表明，系统在识别准确率达到92.5%的同时，单次推理延迟低于5ms，显著优于传统帧图像处理方案。

本课题的创新点在于将仿生视觉感知与神经形态计算相结合，提出了一种基于时间窗的事件流编码方法，并设计了适配FPGA资源的稀疏脉冲计算架构，为超高速低功耗人机交互提供了可行的工程解决方案。

第一章绪论

1.1研究背景

近年来，随着虚