基于边缘计算的目标检测与跟踪算法研究.pdf

基于边缘计算的双模态交互目标跟踪算法研究

摘要

目标检测和目标跟踪是视觉领域的基本任务，在监控安防、军事侦察和智能驾驶等

领域展现出广泛的应用潜力。可见光传感器对物体表面的细节纹理有更好的捕获能力，

但基于物体反射的成像原理使其极易受到光照变化的干扰；热红外传感器则通过捕获物

体热辐射成像，基本不受光照变化的影响，但往往缺乏细节纹理信息，且难以区分外形

相似的目标。所以，综合利用红外和可见光信息成为近年来研究的热点之一。同时，随

着对安全和隐私保护的追求，基于国产边缘计算的终端平台部署深度学习模型的需求不

断增加，但与深度学习模型日益增长的计算量、资源消耗存在明显的对立，所以开发面

向国产芯片进行轻量化算法的应用开发具有重要意义。

针对上述问题，本文的主要工作包括以下几点：

（1）提出了一种跨模态融合的目标检测算法。针对两个模态组合带来参数量和计

算量增加的问题，设计双模态轻量化结构对计算量最大的主干网络部分进行轻量化改进；

针对单一模态对环境适应的不足，设计注意力交互融合模块，综合考虑两模态共有特征

和互补特征，完成模态间的信息传递；为促进跨模态信息在空间维度的有效融合，内嵌

了感受野增强模块；引入通道注意力机制来优化特征通道的权重分配，确保关键信息的

高效利用。实验结果表明该方法能快速有效进行双模态交互的目标检测。

（2）提出了一种基于双孪生网络的RGBT目标跟踪算法。为满足单目标实时跟踪

的要求，围绕孪生网络跟踪路线设计跟踪算法，对孪生网络扩充设计使用轻量级主干网

络的双孪生网络结构；并在此阶段完成特征交互增强；为减轻候选框引发的计算负担，

采用无锚框策略，仅检测目标中心及其边界偏移，从而简化模型架构；针对回归和分类

最高得分不一致的问题，在回归和分类过程摒弃完全解耦的设计，使用先互相关后解耦

的方式设计跟踪头。最终在两个数据集的实验结果表明，算法在跟踪速度和持续性之间

取得较好的平衡。

（3）针对国产芯片上算法部署的实际需求，本研究以RK3588芯片作为计算核心，

设计硬件开发平台，并完成上述算法的边缘端迁移和部署优化；为提高实际操作的便捷

性，使用QT框架设计了两个界面平台，分别集成了检测和跟踪的相应算法，可以在界

面端完成目标检测和跟踪模型的调用。

关键词：目标检测；目标跟踪；注意力机制；跨模态交互；边缘部署

基于边缘计算的双模态交互目标跟踪算法研究

ABSTRACT

Objectdetectionandtrackingarefundamentaltasksinthefieldofcomputervision,with

broadapplicationsinareassuchassurveillance,militaryreconnaissance,andintelligentdriving.

Visiblelightsensorshavesuperiorcapabilitiesincapturingdetailedtextureonobjectsurfaces,

buttheirimagingprinciplebasedonobjectreflectionmakesthemhighlysusceptibletochanges

inlightingconditions.Thermalinfraredsensors,ontheotherhand,captureobjectthermal

radiationforimagingandareminimallyaffectedbylightingchanges,butoftenlackdetailed

textureinformationandstruggletodistinguishobjectswithsimilarshapes.Therefore,the

integrateduseofinfraredandvisiblelightinformationhasbecome