RGB-D图像与太赫兹图像配准融合算法研究.pdfVIP

RGB-D图像与太赫兹图像配准融合算法研究

摘要

图像配准融合是计算机视觉中一项重要的技术，主要包括图像配准和图像融合两个

关键步骤。这项技术在医疗成像、遥感、视频监控和自动驾驶等领域被广泛应用，以提

高图像分析的精度和效率。图像配准的目的是将来自不同数据源的多幅图像在空间上精

确对齐。太赫兹技术在无损检测和安全检查等领域，被视为具有巨大发展潜力的新兴技

术。太赫兹成像使用位于微波和红外辐射之间的太赫兹辐射来进行成像，由于其较低的

光子能量和独特的无损检测能力，这种技术在传统成像技术受限的领域受到特别关注。

近年来，深度学习在计算机视觉领域的快速进展促使人们探索利用太赫兹成像技术进行

目标检测。针对太赫兹图像的低分辨率、待检目标与背景亮度相似，使得传统的目标检

测方法难以实现高精度的问题。本文首次将图像配准融合技术应用到RGB-D图像与太

赫兹图像，提出了一种RGB-D图像与太赫兹图像配准融合新方法。本文主要研究内容

和创新点如下：

为找到2D-3D对应关系以实现图像间的人体配准，本文利用深度图像的像素值和

相机参数将像素位置转换为三维空间坐标，生成点云数据。然后基于PointNet对点云数

据进行人体模型分割。由于缺乏对应的RGB-D图像和太赫兹图像数据集，本文采用太

赫兹安检仪和深度相机来自制数据集，利用了两种数据集标注方法。自制数据集实验结

果表明，PointNet算法取得了良好的分割效果，并为后续太赫兹图像配准融合奠定基础。

为太赫兹图像的目标检测提供新的判断依据以减少误检，本文通过有效的数据融合

和分析，确定点云数据中目标的空间坐标，拟合太赫兹几何光学模型，使太赫兹图像获

得深度信息。本文提出了一种将RGB-D图像与太赫兹图像配准融合方法，分为特征提

取和全局特征匹配两个阶段：在特征提取阶段通过双流网络有效地编码了局部几何信息

和全局信息。在全局特征匹配阶段使用这些特征求解联合概率矩阵，并从中选取Top-K

匹配结果作为对应集，利用对应集估计出一个几何变换模型，用于图像间的精确映射，

以实现图像的配准融合。公共数据集和自制数据集实验结果表明，本文的方法展现了良

好的性能。

关键词：太赫兹;RGB-D图像;目标检测;图像配准融合;2D-3D对应关系

I

ResearchonRegistrationFusionAlgorithmfor

RGB-DandTerahertzImages

Abstract

Imageregistrationfusionisanimportanttechniqueincomputervision,involvingtwocrit-

icalsteps:imageregistrationandimagefusion.Thistechniqueisextensivelyutilizedinvarious

fieldslikemedicalimaging,remotesensing,videosurveillance,andautonomousdrivingtoen-

hancetheaccuracyandefficiencyofimageanalysis.Theobjectiveofimageregistrationis

tospatiallyalignmultipleimagesfromdifferentdatasourcesaccurately.Terahertztechnol-

ogyisconsideredanemergingtechnologywithsignificantpotentialfornon-destructivetesting

andsecurityinspections.Terahertzimaging,whichusesterahertzradiationsituatedbetween

microwavesandinfraredradiation,hasgarneredparticularattentioninareaswheretraditional

imagingmethodsarelimited,duetoitslowerphotonenergyan