车载场景下红外目标检测及跟踪算法研究.pdfVIP

车载场景下红外目标检测及跟踪算法研究

摘要

自动驾驶是人工智能的重要应用领域之一，对智能交通和智慧城市的发展有着重要

的意义。车辆和行人的检测和跟踪作为其中不可或缺的关键技术，能够帮助车辆实时感

知周围环境并做出准确的驾驶决策。随着人工智能技术的发展，使用深度学习进行目标

检测及跟踪已成为当前研究的热点。然而，当前基于深度学习的研究主要是针对可见光

图像，有关红外图像的研究却相对较少。而红外图像因其成像方式受光照条件影响小，

不仅可以像可见光一样在白天进行工作，在夜晚或雾雨天也有很好的成像效果。与可见

光图像相比，红外图像特征更少，对模型的特征挖掘要求更高。同时，红外图像对比度

更微弱，对模型区分目标的能力要求也更高。因此，红外图像检测及跟踪更为困难。随

着深度学习技术的不断发展，目标检测及跟踪的精度也不断提高，但精度的提升往往伴

随着更高计算能力的需求。一些模型过分追求精度而忽略实时性能，难以在工业领域真

正应用。为此，本文对红外车载场景下目标检测及跟踪进行了研究。

本文的工作内容主要有以下两个部分：

（1）本文在YOLOv5算法的基础上提出了多项改进。首先，引入Ghost模块改进

骨干网络，设计了GhostCSP替换YOLOv5s中的CSP结构，并设计了GhostNeck替换

3×3的标准卷积，使得模型更轻量化。其次，在GhostNeck网络中的GhostModule后面

分别融入通道注意力机制（SENet）和坐标注意力机制（CA），对比检测效果，选择了

对检测精度提升更高的CA模块融入检测模型，提升了模型的检测效果。接着，引入

ShuffleNet-v2中的Channel-shuffle结构替换Neck网络中的CSP结构最后的1×1卷积，

进一步提高了模型的运行速度。最后，采用了一种针对特定场景的数据增强方法，以提

升模型的检测能力。实验结果显示，改进模型在本文的数据集上的平均精度（mAP）达

到了78.7%，检测速度达到了39.8FPS，相对于YOLOv5s模型，改进模型在基本保持精

度的情况下，检测速度提升了69.4%。因此，本文改进后的检测模型在精度和速度上取

得了良好的均衡。

（2）本文将基于检测的多目标跟踪算法应用于红外车载场景下的行人车辆跟踪，

并对DeepSORT跟踪算法进行了以下改进。首先，将改进的检测模型融合到多目标跟踪

模型中，提高了模型的运行速度。接着，建立了红外车载场景下的行人车辆跟踪数据集，

并重新训练深度表观模型，使得模型能更好地提取物体特征，从而提升了目标跟踪的效

哈尔滨工程大学专业学位硕士学位论文

果。实验结果显示，改进算法的MOTA和MOTP指标都有所上升，同时IDs也有一定

程度的下降。因此，本文改进后的跟踪模型可以有效跟踪红外车载场景下的行人车辆目

标。

关键词：深度学习；红外图像；目标检测；多目标跟踪

车载场景下红外目标检测及跟踪算法研究

Abstract

Autonomousdrivingisoneoftheimportantapplicationareasofartificialintelligence,and

ithassignificantimportanceforthedevelopmentofintelligenttransportationandsmartcities.

Detectionandtrackingofvehiclesandpedestriansareessentialkeytechnologiesthatcanhelp

vehiclesperceivethesurroundingenvironmentinreal-timeandmakeaccuratedrivingdecisions.

Withthedevelopmentofartificialintelligencetechnology,usingdeeplearningforobject

detectionandtrackingha