基于真实场景重建的红外仿真研究.pdfVIP

基于真实场景重建的红外仿真研究

摘要

红外图像相较于可见光图像，具有穿透力强、在夜间使用以及成像距离更远的优

点。而在军事领域，红外技术也占有非常重要的地位，虽然相较于可见光图像，红外

图像具有众多优点，但是在某些特定领域，红外图像面临成本过高，样本不足以及获

取途径困难的问题，红外仿真技术可以有效弥补上述不足。近年来，基于深度学习与

机器学习的红外仿真技术层出不穷，为红外仿真技术带来了新的发展趋势，但同时也

面临新的问题。现有的红外仿真方法存在场景搭建费时，与真实场景有较大差异，并

且由于渲染引擎的老旧，导致场景中目标的模型精细度不高，使得最终的红外仿真结

果失真。针对上述问题，本文提出了一种基于真实场景重建的红外仿真方法，首先通

过二维图像重建真实的三维场景，并采用三维目标检测方法与三维模型检索方法将目

标的精细模型替换场景中的原始模型，最终使用最新的开源图形化引擎模拟红外辐射

效果。本文的主要研究内容如下：

首先，针对现有红外仿真技术的场景的建模需要人工设定，不是基于真实场景的

问题，本文研究了通过同一场景的多帧二维图像重建真实三维场景的方法。辐射场可

以作为三维空间中的一种表示形式，现有辐射场方法无法对场景进行直接重建，为此

本文采用了基于三维高斯分布显式表达辐射场的方法用于场景重建。通过多对二维光

学图像进行特征提取与帧间特征匹配，再使用运动结构恢复方法得到场景的初始稀疏

点云。为了表达场景的辐射场，方法在初始点云中各点位置建立三维高斯分布，通过

各点高斯分布的叠加得到最终的重建结果。在此期间，通过对点云进行自适应密度控

制提高最终的重建精度，达到较好的三维重建结果。

其次，为了解决场景中目标的位置信息，本文对三维目标检测进行了相关研究，

针对仅靠点云输入方法的检测精度有限的问题，本文提出了一种通过点云与图像融合

的三维目标检测方法，通过图像的语义特征增强点云的特征。将增强后的点云输入至

模型中，区分前景点与背景点，对于前景点生成对应的建议框，并融合分类损失与回

归损失对框体进行微调，最终得到目标在空间中的位置与方向信息。通过在公开数据

集KITTI3D与其他三维目标检测方法进行了比较，结果证明了本文方法能够取得较高

的检测正确率。

之后，为了正确检索场景中目标的精细模型，并针对二维图像检索三维模型准确

I

哈尔滨工程大学硕士学位论文

率不高的问题，本文提出了一种基于图注意力网络用于检索三维模型，将场景的可见

光图像输入至网络中，检索目标的精细模型。首先将输入图像与各个视角下的模型可

见光图像通过卷积神经网络得到特征向量，之后通过图注意力网络将特征向量进行图

嵌入，采用随机三元损失函数，将相同样本的嵌入向量在空间中的距离拉进，不同样

本的嵌入向量在空间中的距离则推远，获得更高的检索精度。并在Pascal3D数据集上

与其他方法进行了对比，验证了本文方法在模型检索上的有效性。

最后，在得到真实场景的重建结果，并将场景中目标替换为精细模型后，本文采

用虚幻引擎实现场景中红外辐射效果的仿真。针对现有红外仿真方法的图形引擎较为

老旧，仿真效果不佳的问题，本文通过虚幻引擎的材质系统，建立不同色彩域的红外

仿真材质，将材质实例赋给场景和目标，并且在虚幻引擎高拟真的渲染效果的加持下，

得到最终的红外仿真场景。本文将真实红外图像与仿真图像进行相似度比较，其结果

证明了本文的仿真方法具有可靠性。此外，本文还分别在真实室外场景与室内场景进

行了红外仿真效果的测试，证明了方法可以在不同环境下都可以获得不错的红外仿真

结果。

关键词：三维重建；三维目标检测；三维模型检索；红外仿真；图形渲染

II

基于真实场景重建的红外仿真研究

Abstract

Infraredimageshavetheadvantagesofstrongpenetration,nighttimeuseandlonger

imagingdistanc