自动驾驶场景下的双模特征融合目标检测技术研究.pdfVIP

摘要

基于双模信息特征融合的目标检测是自动驾驶、智能监控等全时段应用需求中的关

键技术，针对同视场环境下，以可见光及红外光的双模图像作为输入，利用两者的互补

以区分行人目标特征并进行行人检测，弥补单模态输入难以应对恶劣环境及光线变化的

问题，同时也弥补了红外图像缺乏纹理细节的弊端。双模行人检测性能的好坏，在很大

程度上取决于红外与可见光图像信息的匹配情况以及融合机制的好坏，因此，双模信息

融合的行人检测技术具备实际研究应用价值。

本论文着眼于双模图像信息配准以及如何选定适宜的融合阶段与方式，进而构建出

一套双模态的特征融合目标检测机制。该机制旨在充分融合红外与可见光模态的特征信

息，以此达成提升行人检测性能的目标，主要研究及成果如下：

（1）针对双模图像传感器采集图像时，可见光与红外传感器因焦距、视场、拍摄角

度等因素，致使同一场景目标成像出现畸变、旋转、平移等错位问题，本研究基于

SURF算法的图像配准方法,以双模态特征尺度空间为依托，进行关键点的定位操作，同

时完成方向信息的配置，近似筛选特征点，通过计算特征点邻域梯度直方图构建特征向

量，最后去除误配点，依据精确匹配点对确定变换矩阵，实现可见光与红外图像配准，

对提升图像检测性能意义重大。