CN120259372A 基于红外和可见光图像融合的海面目标跟踪方法及系统 （哈尔滨工业大学（威海））.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120259372A(43)申请公布日2025.07.04

(21)申请号202510740107.8

(22)申请日2025.06.05

(71)申请人哈尔滨工业大学(威海)

地址264209山东省威海市环翠区文化西

路2号

申请人杭州电子科技大学

GO6TGO6T

5/70(2024.01)

5/60(2024.01)

(72)发明人冯翔熊振华赵宜楠周志权姜斌赵占锋

(74)专利代理机构威海恒誉润达专利代理事务所(普通合伙)37260

专利代理师陈志延

(51)Int.CI.

GO6T7/277(2017.01)

GO6T5/50(2006.01)

GO6N20/00(2019.01)

权利要求书4页说明书12页附图2页

(54)发明名称

基于红外和可见光图像融合的海面目标跟踪方法及系统

(57)摘要

CN120259372A本发明提供了基于红外和可见光图像融合的海面目标跟踪方法及系统，涉及海洋监测技术领域，包括采集海面目标可见光和红外图像数据；通过小波变换融合进行特征提取和融合生成综合特征图，利用深度学习目标检测模型对综合特征图进行目标识别；目标识别后，系统基于图像数据及雷达数据计算目标位置，通过结合多模态特征的匈牙利算法进行多目标的匹配与关联，并结合卡尔曼滤波或粒子滤波算法预测目标位置，更新轨迹信息，红外摄像头和可见光摄像头根据目标的位置和运动轨迹进行动态角度调整；基于光修正阈值判断是否进行光信息修正，进行光信息修正时，以图像数据，基于可见光补偿模

CN120259372A

通过红外摄像头和可见光摄像头同步采集海面图像，

通过红外摄像头和可见光摄像头同步采集海面图像，获取目标的红外和可见光数据

对采集的图像进行去噪、增强和对齐处理，保证图像质量和模态一致性

基于融合后的图像，应用深度学习算法进行目标检测，并结合雷达信息通过运动预测算法跟踪目标

将目标跟踪结果和图像数据显示在屏幕上，并通过远程控制平台对设备进行参数调整和状态监控

CN120259372A权利要求书1/4页

2

1.基于红外和可见光图像融合的海面目标跟踪方法，其特征在于，包括：

信息采集：通过红外摄像头和可见光摄像头同步采集海面目标的图像数据；

图像数据处理：对所述图像数据进行去噪、增强及配准处理；处理后的图像数据通过小波变换融合进行特征提取和融合生成综合特征图，利用深度学习目标检测模型对所述综合特征图进行目标识别；

目标跟踪：完成目标识别后，系统进入目标跟踪模式，基于图像数据及雷达数据计算目标位置，通过结合多模态特征的匈牙利算法进行多目标的匹配与关联，并结合卡尔曼滤波或粒子滤波算法预测目标的下一步位置，更新目标轨迹信息，红外摄像头和可见光摄像头根据目标的位置和运动轨迹进行动态角度调整，保证目标始终处于摄像头的视野范围内；

光信息修正：基于光修正阈值判断是否进行光信息修正，进行光信息修正时，以所述图像数据，基于可见光补偿模型和红外补偿模型构建光信息修正特征，在目标跟踪过程中，与匈牙利算法相结合构建代价矩阵进行多目标的匹配与关联。

2.根据权利要求1所述的基于红外和可见光图像融合的海面目标跟踪方法，其特征在于：所述基于图像数据及雷达数据计算目标位置包括以雷达、可见光与红外相机模块水平位置的中心为原点，建立坐标系，目标的三维坐标基于下式得到：

z=R·sinθ;

x=R·cosθ·cosw;

y=R·cosθ·sinw;

式中，Z、x、V分别表示目标的三维坐标，R为目标和雷达的距离，θ为目标相对于相机的俯仰角，W为目标相对于雷达的方位角。

3.根据权利要求1所述的基于红外和可见光图像融合的海面目标跟踪方法，其特征在于：所述通过小波变换融合进行特征提取和融合包括按照以下步骤对图像进行小波变换处理：

式中，Wisible(P,q,n,k)和infarea(P,q,n,k)分别表示可见光和红外图像的小波系数，Vn,k(P,q)为小波基函数，P,9代表图像的空间坐标，m表示索引变量，n代表小波变换的尺度，k代表小波变换中的平移参数，Ivisible(p,q)和Iinfrared(p,q)分别表示可见光和红外图像；

对可见光和红外图像的小波系数进行加权融合：

Wfused(p,