CN118134994B 基于双目立体匹配的大型不规则堆料体积实时测量方法 （广西壮族自治区自然资源遥感院）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN118134994B(45)授权公告日2025.01.10

(21)申请号202410159429.9

(22)申请日2024.02.04

(65)同一申请的已公布的文献号申请公布号CN118134994A

(43)申请公布日2024.06.04

(73)专利权人广西壮族自治区自然资源遥感院地址530000广西壮族自治区南宁市良庆

区冬花路21号

(72)发明人雷江涛刘润东梅树红罗恒杨晓立罗义谈李伟鹏韦炜韧

(74)专利代理机构北京卓岚智财知识产权代理有限公司11624

专利代理师王艳慧

(51)Int.CI.

GO6T7/62(2017.01)

G06T7/80(2017.01)

G06T7/33(2017.01)

GO6V10/26(2022.01)

GO6V10/762(2022.01)

GO6V10/82(2022.01)

(56)对比文件

CN116258832A,2023.06.13

李迎松.摄影测量影像快速立体匹配关键技术研究.《中国博士学位论文全文数据库基础科学辑》.2019,A008-14.

审查员刘素兵

权利要求书2页说明书6页附图3页

(54)发明名称

基于双目立体匹配的大型不规则堆料体积实时测量方法

(57)摘要

CN118134994B基于双目立体匹配的大型不规则堆料体积实时测量方法，包括以下步骤：S1采用多组双目相机获取图像；S2基于深度学习的鲁棒立体匹配；S3匹配置信度评估；S4点云生成与配准；S5堆料三维模型重建；S6计算堆料体积。该测量方法能够有效抵御室外复杂光照对测量精度的影响，避免或减少堆料遮挡的影响，用于表面纹理复杂的大型堆料快速准确测量，从而可满足堆料高效

CN118134994B

多台双目相机获取图像

多台双目相机获取图像

基于深度学习的鲁棒立体匹配

匹配配置信度评估

点云生成与配准

堆料三维模型重建

堆料体积计算

CN118134994B权利要求书1/2页

2

1.基于双目立体匹配的大型不规则堆料体积实时测量方法，其特征在于，包括以下步

骤：

S1采用多组双目相机获取图像；所述S1具体按照以下方案实施：

采用多组双目相机，分别从不同角度对待测堆料进行拍摄，获取多视角的图像信息；所述双目相机为两台紧密布置的单目相机，在使用时，两侧的相机同步获取同一视场下的左、右视图图像；

S2基于深度学习的鲁棒立体匹配；所述S2具体按照如下方案实施：

S21利用神经网络提取图像特征，直接学习匹配过程中的代价计算与优化策略，通过立体匹配构建的代价空间，进而获取左右图的视差图；

S22构建大规模的定制训练数据集，该数据集的构建为在实际堆料现场同时使用双目相机与激光雷达采集，包含各种类型堆料的丰富训练样本；

S3匹配置信度评估；所述S3具体按照如下方案实施：

采用信息熵理论，直接从概率分布回归出匹配可信度，公式如下：

(1)

于公式(1)中，M(x,y)为视差图的不确定度，C(x,y,d)为每个像素点匹配的代价空间，D对应着网络预先设置的最大视差；

S4点云生成与配准；所述S4具体按照如下方案实施：

S41视差图后处理，对立体匹配所生成的原始视差图进行后处理，采用双边滤波、中值滤波优化视差图的平滑性与完整性，填充视差图中存在的小区域空洞，输出优化后的高质量视差结果，为准确点云生成奠定基础；

S42多视点点云生成，依据双目系统的标定参数，基于立体匹配点对的视差信息，通过三角测量原理转换生成三维点云；

S43相机位姿确定，通过在场景内增加多个已知三维坐标的标定物，分别出现在各双目相机的图像中，依据标定物的图像坐标与世界坐标映射关系，采用PnP求解算法确定双目相机的位姿；

S44点云全局配准，根据双目相机的位姿信息，将多个双目相机的三维点云转换到相同三维坐标系下，实现堆料点云粗配准；

S45精配准，使用配准算法，进行细致的点云配准，使来自不同视角的点云精确重合，得到场景的三维点云；

S5堆料三维模型重建；所述S5具体按照如下方案实施：

S51对点云进行降噪处理，滤除点云噪声；

S52点云分割，去除无关点云，提取出完整的堆料点云；所述S52中点云分割具体按照如下方案实施：

S521基于点云的聚类；

S522基于深度学习的