CN115375746B 基于双重空间池化金字塔的立体匹配方法 （西安电子科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115375746B(45)授权公告日2025.07.08

(21)申请号202210336322.8

(22)申请日2022.03.31

(65)同一申请的已公布的文献号申请公布号CN115375746A

(43)申请公布日2022.11.22

(73)专利权人西安电子科技大学

地址710071陕西省西安市太白南路2号

(72)发明人何立火刘晓天唐杰浩柯俊杰高新波路文李洁王笛

(74)专利代理机构陕西电子工业专利中心61205

专利代理师王品华王喜媛

(51)Int.CI.

GO6T7/593(2017.01)

GO6T7/13(2017.01)

GO6T7/40(2017.01)

GO6N3/0464(2023.01)

GO6N3/045(2023.01)

GO6N3/084(2023.01)

(56)对比文件

CN110009691A,2019.07.12

CN113393439A,2021.09.14审查员田媛媛

权利要求书3页说明书8页附图2页

(54)发明名称

基于双重空间池化金字塔的立体匹配方法

(57)摘要

CN115375746B本发明公开了一种基于双重空间金字塔的立体匹配方法，主要解决现有双目立体匹配方法中缺失多尺度语义信息及无法充分提取特征的纹理信息与整体信息的问题，其实现方案为：获取双目立体匹配训练样本集T与验证样本集V;分别建立特征提取网络E、代价聚合网络R以及视差回归网络G,并将级联构成双目立体匹配网络S;使用训练样本集T,通过随机梯度下降法对该双目立体匹配网络S进行训练；将验证样本集V输入到训练好的双目立体匹配网络S中，得到立体匹配的结果Ipred。本发明提升了立体匹配方法在语义边缘处、纹理复杂区域的匹配精度，有效地减少了匹配结果中的离群点，有效提高了立体匹

CN115375746B

获取双目立体匹配训练样本集、测试

获取双目立体匹配训练样本集、测试样本集

构建基于双重池化金字塔的立体匹配网络

对基于双重池化金字塔的立体匹配网络进行训练

利用训练完成的网络获取测试集结果

CN115375746B权利要求书1/3页

2

1.一种基于双重池化金字塔结构的立体匹配方法，其特征在于，包括：

(1)获取双目立体匹配训练样本集T与验证样本集V

从已有的双目立体匹配数据集中获取N+M组图像对I1={I1,I1R,IG?},其中I、I1分别

为第i个图像对的左目图像及右目图像，IcT为第i个图像对的真实视差图像；

将数据集中N个图像对作为训练的样本集T={I1,I2,…,I,…,IY,1≤j≤N;M个图像对作为训练结果的验证集V={I+1,IN+2,…,IN+k,…,IN+M},1≤k≤M,N≥180、M≥20;

(2)构建基于双重空间池化金字塔的双目立体匹配网络S

(2a)建立由平均池化金字塔E2AG和最大池化金字塔E2MAx并联构成的双重金字塔网络E2;

(2b)建立由初始卷积神经网络E1、双重池化金字塔网络E2以及特征融合网络E3级联构成的特征提取网络E;

(2c)建立由三个堆叠的三维卷积神经网络级联构成的代价聚合网络R;

(2d)将特征提取网络E、代价聚合网络R以及视差回归网络G级联构成双目立体匹配网络S;

(3)对双目立体匹配网络S进行训练：

(3a)设置学习率η,最大训练次数tma,当前迭代周期t=0;

(3b)对训练集T中的左目图像I1与右目图像I1使用前向传播方法得到网络输出的预测

视差图]

(3c)对输出的图像使用SmoothL1损失函数计算预测视差图Iprea与真实视差图Ic之间的误差L1,并使用反向传播的梯度下降算法对当前网络S中的卷积核权重参数w以及卷积核偏置参数b进行更新；

(3d)将当前迭代周期加1,即t=t+1,判断是否达到最大迭代次数：

若t=tmax,则达到最大迭代次数，此时训练结束，得到训练好的双目立体匹配网络st,若t’tmx,则返回(3b);

(4)将验证样本集V输入到训练好的双重空间池化金字塔的立体匹配网络S中，依次经过其中的特征提取网络E、