基于可见光和红外图像的目标检测算法研究.pdfVIP

基于可见光和红外图像的目标检测算法研究

摘要

目标检测是计算机视觉研究领域的一个重要的任务，并且已经在很多领域都已经取

得了广泛的应用。现阶段的目标检测多以可见光目标检测为主，但是，在恶劣天气、夜

间等条件下，可见光图像的检测精度会大幅下降。红外图像在这些条件下表现更优，因

此研究基于可见光和红外图像的双模目标检测算法具有重要意义。因而，将两种模态的

信息如何融合能取得更好的检测效果是一个研究的热点问题。此外，双模态的信息处理

会显著增加计算资源的消耗并降低实时性。因此，研究保持高精度的前提下，减少模型

参数和提高实时性也具有重要的实际价值。本文主要在可见光和红外图像基础上开展双

模目标检测算法研究并作出如下改进：

（1）针对可见光和红外图像的图像中会存在背景等干扰信息，导致的提取到的特

征存在较多的无效信息，以及多数算法在融合特征时仅在通道维度考虑，这会导致融合

并不充分等问题。本文提出基于特征增强和特征融合双模目标检测算法(DEF)。首先以

YOLOv7作为基础框架，建立一个双路特征提取网络；其次，为了减少融合过程中的无

效特征信息带来的干扰，设计了一个由多分支卷积结构和ECA注意力组成的特征增强

模块，在融合之前，将两个特征图分别送入该模块对有效特征进行筛选；然后为了充分

融合两种特征，利用空间注意力与通道注意力设计了一个空间通道注意力特征融合模块，

此外该模块分别作用在双路骨干网络的第三、四、五层，最后将融合后的特征图送入头

部网络以完成双模检测。在FLIR和LLVIP公开数据集上测试了算法，验证了其有效性。

（2）针对双模检测算法的多路特征提取以及复杂的融合模块设计使模型复杂度过

高，难以满足实时性要求等问题，提出了基于三重注意力的轻量双模目标检测算法

（LDEF）。首先利用Ghost卷积和FasterBlock模块设计了GBS、GELAN和GFaster模

块，并且分别对原始YOLOv7模型中的CBS、ELAN和ELAN-H模块进行替换，该设

计显著降低了主干网络参数量；此外还设计了通道分离卷积特征增强模块，该模块能够

以较低的参数量达到对有效特征增强的效果；然后利用轻量化的TripletAttention注意力

机制实现多维度的双模特征融合。最后在两个公开数据上进行了性能评测，验证了算法

的精度、参数量和检测速度等指标，取得了良好的轻量化的效果。

关键词：双模检测；特征增强；特征融合；注意力机制；轻量化

基于可见光和红外图像的目标检测算法研究

Abstract

Objectdetectionisanimportanttaskinthefieldofcomputervisionandhasbeenwidely

appliedinmanydomains.Currently,mostobjectdetectionfocusesonvisiblelight,butunder

adverseconditionssuchasbadweatherornighttime,thedetectionaccuracyofvisiblelight

imagessignificantlydecreasesduetoimaginglimitations.Incontrast,infraredimagesperform

betterundertheseconditions.Therefore,itisofgreatsignificancetoresearchalgorithmsfor

dual-modeobjectdetectionbasedonbothvisiblelightandinfraredimages.However,howto

effectivelyintegrateinformationfromtwomodalitiestoachievebetterdetectionresultsisahot

researchtopic.Moreover,processingdual-modali