基于多传感器信息的三维重建算法研究.pdf

摘要

为了适应日益增长的三维动画、游戏、虚拟现实、医学图像重建和文物保护

等领域的建模需求，针对自动三维重建方法的研究日趋活跃。本文以基于多传感

器信息的三维重建算法为研究课题，重点研究了基于单目或多目彩色图像的三维

对象重建算法以及基于深度信息的三维场景检索算法。由于传统算法需要大量的

图像数据作为输入，且在运行速度上还不能令人满意，因此随着深度学习技术的

快速发展，越来越多的研究人员开始尝试使用深度神经网络来解决这一问题，并

构建了许多大规模三维重建数据集。但基于深度学习的三维重建技术还处于起步

发展阶段，仍面临着重建精度和速度等方面的挑战。本文结合传统的三维重建方

法和新兴的基于深度学习的三维重建技术，提出了一系列面向不同数据类型和重

建目标的三维重建技术方案，主要工作如下：

1.基于多目图像的三维对象重建算法框架。该框架是传统的增量式运动重构

框架的改进，添加了基于深度学习的图像预处理模块对输入图像进行预处理，减

少了生成模型的冗余顶点数量。同时，采用了基于深度学习的特征点检测和匹配

算法，加快了传统三维重建算法的运行速度。

2.基于深度学习的三维对象重建算法框架。为了弥补传统三维重建算法的不

足，以期从少量或单张图像中恢复出目标对象的几何结构，本文对基于深度学习

的单目图像三维重建算法进行了研究。然后，采用由粗粒度到细粒度的模型优化

策略，利用多目图像信息对上述单目重建方法生成的网格模型进行迭代优化，从

而提高重建结果的准确度。

3.基于深度传感器信息的三维场景检索算法框架。该框架能够根据已知的三

维对象类型和模型数据，将深度传感器扫描得到的场景模型作为输入，通过模型

检索和对齐模块输出三维场景的简洁表示。本文针对不同的三维场景数据类型，

采用了不同的模型检索和对齐方案，从而形成整体的三维场景重建框架。

本文针对上述算法框架分别进行了定量和定性的测试，实验结果表明采用本

文所述方法能够在不同应用场景下有效提升三维重建算法的性能。

关键词：三维重建，深度学习，计算机图形学，多传感器信息

ABSTRACT

Inordertomeetthegrowingmodelingneedsinthefieldsof3Danimation,games,

virtualreality,medicalimagereconstructionandculturalrelicprotection,theresearch

onautomatic3Dreconstructionmethodsisincreasinglyattractattention.Thisthesis

takes3Dreconstructionalgorithmbasedonmulti-sensorinformationastheresearch

topic,focusingon3Dobjectreconstructionalgorithmbasedonmonocularor

multi-viewcolorimageand3Dscenereconstructionalgorithmbasedondepth

information.Sincetraditionalalgorithmsrequirealargeamountofimagedataasinput

andarenotsatisfactoryintermsofrunningspeed,withtherapiddevelopmentofdeep

learningtechnology,moreandmoreresearchersbegintotrytousedeepneural

networkstosolvethisproblemandbuildmanylarge-scale3Dreconstructiondatasets.

However,