基于双目图像的路面裂缝检测与三维表征.pdfVIP

摘要

在交通强国的建设背景下，推动互联网、人工智能、超级计算等技术与交通基础设

施行业深度融合已成为未来发展趋势。公路作为社会经济发展的命脉，其服役性能是保

证国民交通出行及物流运输的关键。在交通轴载和环境因素的影响下，公路不断出现结

构性损坏，未能及时有效地养护的公路设施已导致了严重的设施损坏事故和交通伤亡事

故，故及时有效地养护是保证公路服役性能的关键因素。而传统检测方式因效率低、漏

检率高，导致无法使公路设施得到及时的养护。高效、精准地检测并量化路面损坏，保

证路面破损能够得到及时地养护管理，是亟待解决的难题。本文依托深度学习理论和立

体建模理论，开展路面裂缝的检测与三维表征研究。

首先，从立体建模理论和流程入手，对相机的成像原理、图像物理坐标系与图像像

素坐标系、相机坐标系和世界坐标系的转换、非线性相机的标定原理和极线限制原理进

行了详细地分析。再详细介绍了GMS特征点匹配算法，并且在路面场景下与BF、Flann

算法进行对比实验，表明GMS特征匹配算法在路面场景下具有高效、高精度的性能特

征。最后，结合三角测量原理，建立了路面双目图像的二维坐标向三维坐标转换的具体

算法。

其次，针对复杂背景下的路面病害检测开展了研究。通过车载前视相机拍摄了路面

图像，并采用DarkLabel标记软件生成了路面检测数据集。为了增强数据的泛化性，采

用了Mosaic算法、CutMix算法和Mixup算法，根据模型在训练过程和测试过程中的精

准率P、召回率R、调和均值F1和评价精度mAP对比分析确定最佳的路面检测数据集

数据增强方法。以YOLOv5模型为基线模型，综合考虑C2F模块、CBAM模块和增加

微型检测器等措施影响，并且进行了消融实验，根据模型在训练过程和测试过程中的精

准率P、召回率R、调和均值F1和评价精度mAP对比分析确定了最佳网络结构，优化

后的模型精准率和召回率较基线模型提升了14.03%和8.65%。最后，具体分析本文优化

模型对不同病害类型的检测精度影响，表明优化后算法对坑槽、横向裂缝和纵向裂缝的

检测精度明显提升。

再次，针对路面病害开展像素级分割方法研究，为病害的定量表征提供基础。基于

双目摄像场景拍摄路面病害图像，结合无监督数字图像处理技术提出了一种半自动化像

素级标记方法，构建了路面病害分割数据集。针对裂缝类正负样本不均衡的问题，以U-

Net模型为基准模型，优化特征提取模块和损失函数。评价指标和分割效果表明采用焦

点骰子复合损失函数有利于缓解正负样本不均衡问题，采用Swintransformer模块有利

于病害类像素的特征提取。研究表明Swin-U分割模型在测试集的交并比和调和均值分

别优于U-Net模型10.75%和11.26%。

最后，结合立体建模理论和图像分割算法提出了路面裂缝类病害的表征方法。并以

双目相机的标定降低了硬件条件所导致的误差。通过全局立体匹配算法获得路面场景的

视差图像，结合特征点匹配改进候选视差优化算法，消除路面视差图中的视差缺失现象。

此外，基于本文提出的三维点云构建算法，形成了路面点云图像，并且结合图像分割结

果，提出了裂缝类病害的简易评估方法。最终通过双目设备采集了38组裂缝类病害，

并且采用尺寸评估算法对样本进行了计算。研究结果表明在本文尺寸评估算法下，裂缝

长度评估样本在92.1%的概率下绝对误差小于0.1m，在42.1%的概率下绝对误差小于

0.05m。

关键词：路面结构；人工智能；病害检测；目标分割；立体建模

ABSTRACT

Inthecontextofbuildingastrongtransportationcountry,promotingthedeepintegration

ofInternet,artificialintelligence,supercomputingandothertechnologieswiththe

transportationinfrastructureindustryhasbecomethefuturedevelopmenttrend.Asthelifeblood

ofsocialandeconomicdevelopment,the