CN115578435B 静态环境和动态物体的稠密重建方法、系统及存储介质 （华南理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115578435B(45)授权公告日2025.07.04

(21)申请号202211226585.X

(22)申请日2022.10.09

(65)同一申请的已公布的文献号申请公布号CN115578435A

(43)申请公布日2023.01.06

(73)专利权人华南理工大学

地址510640广东省广州市天河区五山路

381号

专利权人国家海洋局南海调查技术中心(国家海洋局南海浮标中心)

(72)发明人戴诗陆李蔚东纪淮宁郑兵董超

(74)专利代理机构广州市华学知识产权代理有限公司44245

(51)Int.CI.

G06T7/55(2017.01)

G06T7/11(2017.01)

G06T7/13(2017.01)

(56)对比文件

纪淮宁.基于语义先验的视觉多目标跟踪

SLAM算法研究.中国优秀硕士学位论文全文数据库信息科技辑.2025,全文.

审查员黄颖

专利代理师李斌

权利要求书3页说明书11页附图4页

(54)发明名称

静态环境和动态物体的稠密重建方法、系统及存储介质

(57)摘要

CN115578435B本发明公开了一种静态环境和动态物体的稠密重建方法、系统及介质，方法包括：对输入的图像进行实例分割；在静态图像上提取和匹配第一特征点，计算相机的初始位姿；在实例图像上提取和追踪第二特征点，计算动态物体的初始相对位姿；对相机的位姿、动态物体的相对位姿、第一特征点坐标和第二特征点坐标的约束关系进行紧耦合非线性优化；对输入图像通过深度估计获得深度图并进行预处理；对静态环境建立稠密点云图；筛选物体点云片段，将保留的点云片段变换到参考片段下进行融合，从而稠密重建动态物体。本发明通过输入双目图像，即可输出静态

CN115578435B

点。

对输入图像进行实例分割

对输入图像进行实例分割

求解相机初始位姿

求解动态物体初始相对位姿

紧耦合非线性优化

深度估计并对深度图进行预处理

对静态环境建立稠密点云图

筛选、融合点云片段，重建动态物体

CN115578435B权利要求书1/3页

2

1.静态环境和动态物体的稠密重建方法，其特征在于，包括下述步骤：

对输入的图像进行实例分割，获得静态图像和实例图像；

在静态图像上提取和匹配第一特征点，基于第一特征点计算相机的初始位姿；

在实例图像上提取和追踪第二特征点，基于第二特征点计算动态物体的初始相对位姿；

对相机的位姿、动态物体的相对位姿、第一特征点坐标和第二特征点坐标的约束关系进行紧耦合非线性优化，所述紧耦合非线性优化包括相机的位姿约束关系和动态物体的相对位姿约束关系；

对输入图像通过深度估计获得深度图，并采用形态学方法和边缘检测方法对深度图进行预处理，具体为：

采用STTR算法对输入的双目RGB图像进行处理，求解获得平滑的深度图；然后，利用掩膜图像，同样将深度图分离为静态深度图和实例深度图，由于实例分割无法对每个像素都作为完全准确的分类，因此在获得静态深度图前，需要对掩膜图像进行膨胀处理，以滤除其中的动态像素；而在获得实例深度图前，则是对掩膜图像进行腐蚀处理，以滤除其中的静态像素；

对静态深度图进行canny边缘检测，以提取静态物体的边缘，并将边缘转换为掩膜，为了覆盖更多的外点像素，对边缘掩膜进行膨胀处理；在建立静态点云图时，边缘掩膜中的像素将不会纳入点云计算范围内；

将深度图上的静态像素点反投影到相机坐标系下，并利用优化后的相机位姿转换到世界坐标系下，从而对静态环境建立稠密点云图；

将深度图上的动态物体像素点变换到世界坐标系下，获得同个物体的多个点云片段，并对点云片段进行筛选，最后利用优化后的动态物体相对位姿将保留的点云片段变换到参考片段下进行融合，从而稠密重建动态物体，具体为：

将动态物体在每个关键帧对应的深度图上的动态像素点变换到世界坐标系下，从而获得多个点云片段，从中选择点最多的点云片段作为参考片段，并将剩余点云片段中满足阈值的片段都变换到参考片段的位姿下，即

其中，P表示动态物体点云片段的集合，N表示第t个点云片段中点的数量，λ表示点云片段过滤的阈值，通过以上操作，对部分点云片段进行融合，从而获得动态物体的点云图。

2.根据权利要求1所述静态环境和动态物体的稠密重建方法，其特征在于，所述对输入的图像进行实例分割，具体为：

采