扫描式结构损伤检测机器人深度强化学习视觉导航方法.pdf

哈尔滨工业大学工学硕士学位论文

摘要

地震给土木工程结构带来了不同程度的损伤，对在地震中受损的建筑结构进

行损伤检测具有重要的意义，可以进一步评估建筑结构的受损状态和安全性、评估

经济损失以及为后续的恢复和重建提供重要依据。对于震后的建筑结构内部的损

伤状态评估，传统的基于计算机视觉的检测方法依赖于人工采集图像信息，这样的

采集方法缺乏安全性且成本昂贵。本文针对这一问题研究了一种基于结构损伤驱

动的机器人视觉导航算法，探索了机器人在损伤环境中自主导航至损伤图像处，自

主移动完成扫描式结构损伤检测任务的深度强化学习导航方法。主要研究内容如

下：

首先，针对现有的机器人视觉导航模拟环境缺乏土木工程结构损伤信息，而现

有的结构损伤图像数据集缺乏交互环境这一问题，收集了实际地震后建筑结构的

损伤图像，并将损伤图像信息融合进可交互的视觉导航试验环境AI2-THOR中，

建立了的四大类20个包含建筑损伤信息的室内场景，构建了融合土木工程结构损

伤信息的特定试验场景数据集，建立的场景环境提供了稳定的智能体交互环境，创

造了展开后续的深度强化学习研究的条件，所提出的场景融合方法适用于机器人

与工程学科的交叉研究的场景构建。

其次，为了解决传统深度强化学习视觉导航方法缺乏长期记忆功能，且在陌生

环境下泛化能力较差的问题，提出了一种在融合结构损伤信息场景下稳定导航的

视觉导航模型。模型以机器人观测图像与目标损伤图像作为输入，目标损伤信息驱

动机器人探索环境，完成检测任务。设计了损伤驱动导航模型架构，在异步优势

Actor-Critic算法（AsynchronousAdvantageActor-Critic，A3C）基础上，引入了预

训练的Resnet50和基于注意力机制（AttentionMechanism）的孪生神经网络提取目

标图像高维特征，并在策略网络、值网络输出前设计了基于LSTM的长期记忆模

块，并引入了基于后继通用表征的值网络解耦模块，实现了由RGB图像输入到机

器人无地图导航的策略的映射，并在不同的融合结构损伤信息场景下验证了该方

法的有效性和泛化能力。

最后，进一步研究了融合深度信息的多模态信息驱动视觉导航增强，以及多辅

助任务对导航任务的促进作用，引入了MiDaS（Multi-InstanceDepthAggregation

System）模型进行快速的深度估计，设计了多种深度信息融合方式将深度信息与

RGB信息融合，传递给视觉导航模型，并设计了碰撞预测、奖励预测等辅助任务，

-I-

哈尔滨工业大学工学硕士学位论文

与损伤驱动视觉导航主任务共享部分模型结构，为模型训练提供有效引导，实现了

多模态信息以及多辅助任务的视觉导航增强，并为20个包含建筑损伤信息的室内

场景扩充了深度信息，在不同的结构损伤场景下进行试验，验证了方法可以有效增

强视觉导航模型性能。

关键词：结构损伤检测；地震损伤场景；视觉导航；深度强化学习；多模态多任务

学习

-II-

哈尔滨工业大学工学硕士学位论文

Abstract

Earthquakescausevaryingdegreesofdamagetocivilengineeringstructures,andit

iscrucialtoinspectdamagedbuildingsafterearthquakes.Thishelpsfurtherassessthe

structuraldamageandsafety,evaluateeconomiclosses,andprovideessentialinformation

forsubsequentrecoveryandreconstructionefforts.For