2022108563593一种基于深度学习的图像特征点检测匹配网络.pdfVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN115115860A

(43)申请公布日2022.09.27

(21)申请号202210856359.3

(22)申请日2022.07.20

(71)申请人电子科技大学长三角研究院（湖州）

地址313001浙江省湖州市西塞山路819号

南太湖科技创新综合体B1幢

(72)发明人罗欣赖广龄吴禹萱韦祖棋

宋依芸常乐许文波

(51)Int.Cl.

G06V10/75(2022.01)

G06V10/82(2022.01)

G06V10/40(2022.01)

权利要求书2页说明书4页附图2页

(54)发明名称

一种基于深度学习的图像特征点检测匹配

网络

(57)摘要

本发明基于改进的SuperPoint网络和改进

的SuperGlue网络设计了一种融合网络，该网络

利用全卷积网络提取图像特征点，使用一种亚像

素化模块利用邻域窗口信息增进特征点的坐标

精度，对图像特征点与特征向量联合编码后利用

注意力机制模拟人类进行特征点匹配的过程并

采用Sinkhorn算法解算匹配关系。本发明设计了

自适应的空间约束层，利用空间约束关系对粗匹

配点对进行多种方法的并行筛选和计算，能够自

适应判别图像间的空间关系，对输入图像提取出

匹配好的特征点对。

A

0

6

8

5

1

1

5

1

1

N

C

CN115115860A权利要求书1/2页

1.一种基于深度学习的图像特征点检测匹配网络，其特征在于，包括以下步骤：

本发明采用的技术步骤如下：

步骤1：使用亚像素精度改进的SuperPoint网络提取待匹配图像的精细特征点坐标。

步骤1.1：将待匹配图像输入SuperPoint的VGG结构的编码器中，提取出图像的特征图，

编码器包含8个卷积层、3个池化层、多个BN层和激活函数层。卷积层用于提取特征，其卷积

核数量依次为64、64、64、64、128、128、128、128，三个2×2最大池化层用于下采样。一张H×W

的图像通过编码器编码后得到H/8×W/8×128的特征图。

步骤1.2：将步骤1.1得到的特征图输入SuperPoint的特征点解码器中，解码器包含2个

通道分别为256和65的卷积层和多个BN层和激活函数层，输出W/8×H/8×65的张量。通过

Softmax层分类得到65种情况的归一化概率分布，再通过ReShape层将尺寸还原为H×W×1，

得到H×W的得分图。

步骤1.3：将步骤1.2所得的得分图输入到本发明设计的坐标亚像素化模块之中，流程

包括：对每个不重叠的4×4像素窗口采用非最大值抑制，每个像素窗内将最大值以外的像

素值置为0，得到粗特征点图。对所有的M个粗特征点，以每个粗特征点的坐标为中心，在得

分图中取5×5的像素窗，使用Softargmax方法分别对x、y方向计算出像素窗内各个像素相

对于中心的偏离期望，将偏离期望与粗特征点坐标相加，得到M个亚像素化的精细特征点坐

标。

步骤2：根据亚像素精度特征点坐标提取特征点和描述子联合编码向量

步骤2.1：将步骤1.1所得特征图输入SuperPoint的描述子解码器中，经过多重卷积后

输出H/8×W/8×256的描述子矩阵。

步骤2.2：根据步骤1.3输出的M个亚像素级坐标，对步骤2.1所得的描述子矩阵中进行M

次双三次插值，得到M个256维向量，对这些向量进行L2正则化，得到亚像素特征点对应的

256维描述子。

步骤2.3：将步骤1.2得到的精细特征点坐标与步骤2.2得到的描述子向量进行联立，得

到特征点联合向量。

步骤3：对两