基于强化学习的非监督误匹配探测方法.pdf

摘要

影像匹配是三维场景重建、空中三角测量和多源图像融合的必须流程，也是

摄影测量和计算机视觉的核心任务。然而，影像间的辐射和几何变形会导致大量

的误匹配点。因此，误匹配探测是提高影像匹配质量的必备步骤。同名像点之间

的局部或者全局的几何不变性，是误匹配探测的主要依据。通常，误匹配检测可

分为两类，即基于手工设计的方法和基于深度学习的方法。基于手工设计的方法

以人为定义的局部或全局不变量来检测误匹配点，代表方法有：RANSAC

（RandomSampleConsensus）、GC-RANSAC（Graph-CutRANSAC）、LPM

（LocalityPreservingMatching）和GMS（Grid-basedMotionStatistics）方法等。

基于深度学习的方法免除了人为定义几何不变量的主观性，其利用深度神经网络

描述匹配点之间的几何模型，从而挖掘匹配点之间的不变性，以达到检测误匹配

点的目的。代表性算法有PointNet、LFGC（LearningtoFindGoodCorrespondences）、

NM-Net（NeighborsMiningNetwork）以及OANet（Order-AwareNetwork）。然

而，基于深度学习的方法需要大量带标签的训练数据，这些数据往往需要费时费

力的人为标注，且极易出现标注错误，影响模型的表达潜力。非监督学习方法无

需标注数据，在提升模型训练效率的同时提升网络模型的表达性。

鉴于此，本文以强化学习（ReinforcementLearning，RL）为技术手段，提出

一种最大化样本共识预期得分（maximizingtheexpectedscoreofsample

consensuses，MESAC）的非监督误匹配探测框架。同时，为了提升MESAC框架

的检测能力，本文还提出一种坐标嵌入的网络（CoordinateEmbeddingNetwork，

CE-Net）。该框架基于无标签的训练数据训练各种置换不变网络（permutation

invariantnetworks，PIN），具有三个明显的优点：（1）该框架可以在无监督模

式下训练各种PIN，使其不受错误标签的影响;（2）期望分数的梯度通过改进的

得分函数估计，避免了梯度爆炸;（3）从PIN中学习匹配概率的分布，并通过分

类分布进行精确建模减少采样次数，提高了计算效率。实验证明，当CE-Net与

MESAC框架联合使用时，相较于常用的误匹配检测算法，平均召回率最多提高

77%，平均准确率也提高了16%。在姿态恢复中的应用实验结果表明，与MESAC

集成的PIN的成功率要优于常规的监督学习方法，表明本文提出的非监督学习

框架在误匹配探测应用中有较大的潜力。

关键词：误匹配点检测；非监督学习；最大化样本共识预期得分；置换不变

网络；坐标嵌入网络

Abstract

Imagematchingisanecessaryprocessforthree-dimensionalscenereconstruction,

aerialtriangulationandmulti-sourceimagefusion.Itisalsothecoretaskof

photogrammetryandcomputervision.However,theradiationandgeometricdeformation

betweenimagescanleadtoalargenumberofmismatchingpoints.Therefore,mismatch

detectionisanecessarysteptoimprovethequalityofimagematching.Thelocalorglobal

geometricinvariancebetweenhomonymousimagepointsisthemainbasisformismatch

detection.Generally