立体匹配关键技术研究.pdf

基于深度学习的双目立体匹配关键技术研究

摘要

双目立体视觉系统获取深度信息因具有结构简单、成本低廉等优势，广泛应用于自动

驾驶、三维重建、虚拟现实等领域。其中，立体匹配作为双目立体视觉系统的核心步骤，

是当前深度感知的技术热点。基于深度学习的立体匹配方法已成为深度感知的优选路线，

但仍存在三个挑战：一是复杂结构视差缺失、过平滑问题；其二是图像病态区域视差误匹

配问题；其三是高实时性和高准确性要求下效率与精度的平衡问题。因此，本文针对上述

问题开展了基于深度学习的双目立体匹配关键技术研究。主要工作如下：

（1）针对复杂结构边缘、细小物体等区域视差易缺失、过平滑问题，本文提出基于特

征引导聚合与误差感知增强的立体匹配方法。首先构建图像多尺度特征，利用注意力权重

来指导代价聚合，从而使用少量的三维卷积便可达到快速的聚合效果。其次，设计误差感

知增强模块，通过融合原始图像的高频信息和左右视图间的重构误差，实现视差的精准细

化。该方法在SceneFlow数据集上相比CFNet、IGEV-Stereo等主流方法端点误差率降低

4.2%以上，在KITTI数据集中对比同等精度算法速度提升四倍以上。

（2）针对图像无纹理、弱纹理等病态区域视差错误匹配问题，本文提出基于全局增强

和不确定性感知细化的立体匹配方法。首先，该方法提出全局增强路径机制，融合空洞与

轴向注意力模块，为相关性体积的构建增加全局表达，减少病态区域的错误匹配。其次，

设计不确定性感知细化模块，显式构建不确定性，利用高频细节信息和不确定性自适应优

化视差，有效恢复复杂结构的完整性。该方法在SceneFlow数据集上相比CFNet、IGEV-

Stereo等主流方法端点误差率降低2.1%以上，且模型参数量减少71.4%以上。

（3）针对高实时性和高准确性要求下效率与精度平衡问题，本文提出不确定性引导损

失重加权的通用立体匹配增强方法。该方法聚焦于视差损失对于困难像素的侧重不平衡现

象，提出不确定性引导的损失重加权策略。首先基于置信度体积构建像素级不确定性，其

次利用不确定值动态引导损失重加权。该方法仅在训练阶段优化损失函数，未引入额外的

参数量及推理时间。此外，本文方法即插即用于基于代价体的立体匹配框架，在SceneFlow

数据集上较于CFNet、IGEV-Stereo等主流方法端点误差率进一步降低8%-10%。

综上所述，本文针对现有立体匹配方法面临的三项挑战，创新性提出了多尺度特征引

导聚合、误差感知增强、全局增强路径、不确定性感知细化等策略。在SceneFlow和KITTI

数据集上进行详细验证，实验结果表明其大幅提升了视差的完整性和边缘精细度，实现了

高精度、高效的双目立体匹配。

关键词：立体视觉；双目立体匹配；深度神经网络；视差细化；不确定性分析

ResearchonKeyTechnologyofBinocularStereo

MatchingBasedonDeepLearning

Abstract

Binocularstereovisionsystems,owingtotheirsimplestructureandlowcost,areextensively

appliedindomainssuchasautonomousdriving,3Dreconstruction,andvirtualreality.Stereo

matching,acorecomponentofbinocularstereovisionsystems,emergesasafocalpointincurrent

depthperceptiontechnology.Stereomatchingmethodsbasedondeeplearninghavebecomethe

preferredapproachfordepthperception,yettheyfacethreesignificantchallenges:First,theissue

ofdisparitymi