双目影像密集匹配方法的回顾与展望.docxVIP

自进入数字地球时代以来，智慧城市的建设工作一直是推动其发展的关键，而三维点云数据的快速获取则是智慧城市建设的关键一环。

目前，三维点云数据主要通过激光雷达（lightdetectionandranging，LiDAR）技术和影像密集匹配技术来获取。前者虽然可以在短时间内快速获取到数以百万计的地物点三维坐标并得到相应的三维点云模型[1-2]，但相对于获取成本低、效率高、纹理信息丰富、空间分辨率高、测绘范围大、人工交互少[3]的影像密集匹配技术，依然存在一些不足[4-6]，因而后者受到了摄影测量与遥感界的广泛关注。

自20世纪50年代起，基于航摄影像的匹配算法被提出后，越来越多的学者开始致力于影像的稀疏匹配方法研究。直到20世纪90年代，随着具有生成数字表面模型和数字地形模型功能的摄影测量商业软件的出现[1]，人们纷纷着手于密集匹配算法的研究。密集匹配技术在计算机视觉领域也被称为立体匹配技术，在其数十年的发展中，已有许多文献对其算法进行了归类对比分析[1,7-11]，美国明德学院的Scharstein和Szeliski还创建了广受关注的计算机视觉评测网站[12]，不仅提供了一系列权威的测试数据，还提供了量化误差的算法测试平台，只需要将匹配结果提交到平台就可以获得权威的性能分析并参与算法排名。该网站自2001年开放以来，已公布了430多种影像密集匹配算法，图1为Middlebury网站公布的各年度密集匹配算法数量（统计时间截至2022-11-20）。通过分析不难发现：

图1Middlebury网站公布的2001—2022年密集匹配算法数量

1）双目影像的密集匹配算法数量呈逐年上升趋势。这表明双目影像的密集匹配问题正在被越来越多的学者所关注，同时也说明双目影像的密集匹配技术依然是一个热点研究问题。

2）多视影像密集匹配算法的年度数量明显偏少，自2014年开始逐年下降。多视密集匹配中的多角度影像可以有效改善遮挡区域的匹配效果，特别是近些年发展起来的倾斜摄影测量技术[13]，融合了传统的航空摄影测量技术和近景摄影测量技术[14]。现有的多视密集匹配模型主要划分为两类：基于多视的匹配模型及基于多视立体融合的匹配模型[15]。前者同时考虑多条交会光线以获得更为精确稳健的匹配结果，匹配模型较为复杂，且大部分方法匹配效率较低[16]，并不适合于大范围的影像匹配，更多的此类匹配模型方法介绍可参见文献[17-18]；后者则是将多视密集匹配视为以单个立体像对（双目影像对）为匹配单元的多个立体像对的匹配结果融合问题，该类模型可以通过粗差剔除的方法更有效地改善遮挡区的匹配精度，效率更高、操作简便、易于并行加速，适用于大范围的影像匹配，其核心仍然是双目密集匹配技术。因此，相比于多视影像密集匹配，双目影像的密集匹配更为重要，是更为常用的密集匹配方法，这也是本文着重对双目密集匹配进行综合论述的初衷之一。

近年来，具有相当热度的基于深度学习的密集匹配方法大体上可以分为分布式方法和端到端的方法[11]，后者为当前主流算法。然而，分布式方法对于弱纹理、视差不连续区域以及遮挡区域的匹配效果并不理想，端到端方法则需要较高的计算机内存消耗。

基于深度学习的方法虽然在常规区域可以获得更优的匹配效果，但对于弱纹理、视差不连续以及遮挡区域的匹配效果仍然存在劣势，多数的方法受限于训练标签，文献[19]详细分析了基于深度学习的影像密集匹配算法，此处不再赘述。

本文通过对现有的双目影像密集匹配算法进行综合分析，着重对传统的密集匹配算法进行总结，以期能系统地阐述影像密集匹配技术的发展现状。

本文首先对密集匹配算法的匹配过程进行了梳理，按照局部密集匹配与全局密集匹配对双目密集匹配算法进行了系统的分类概述，并指出各类算法的优缺点；然后对摄影测量中的密集匹配技术进行讨论，对比分析了摄影测量场景与计算机视觉场景之间的差异，同时对影像遮挡机理进行了剖析，详细阐述了遮挡检测与遮挡填充的处理方法，为解决密集匹配的空洞问题奠定了理论基础；最后着重阐述了笔者对双目密集匹配方法发展趋势的展望。

01??双目密集匹配

双目密集匹配即从一个立体像对的二维影像数据信息中提取并恢复对应物体的三维空间信息。现有的双目密集匹配算法依据同名点搜索空间的不同可分为基于像方空间的密集匹配算法和基于物方空间的密集匹配算法[20]。

基于像方空间的双目密集匹配算法通常采用水平核线影像作为输入影像，又称为单基线密集匹配算法，是一种常用的匹配算法，其核线影像包括框幅式影像的核线影像和线阵推扫式影像的核线影像。

前者是从航空摄影测量和地面摄影测量中经常使用的中心投影影像所获得的核线影像，其核线模型基本分为两种，基于数字影像的几何纠正模型和基于共面条件的模型。其中，基于数字影像几何纠正的核线纠正模型更为简单常用；线阵推扫式影