基于深度强化学习救援机器人未知环境探索方法研究.pdfVIP

IEEE机器人与自动化快报（RAL），于2019年国际机器人与自动化会议（ICRA），

地点：蒙特利尔会议，蒙特利尔，，至24日

用于搜救应用的深度强化学习机器人：在未知杂乱环境中的探索

FarzadNiroui，学生会员，IEEE，KaichengZhang，学生会员，IEEE，Zendai

Kashino，学生会员，IEEE，和GoldieNejat，会员，IEEE

—救援机器人可用于城市搜索与救援（USAR）应用是针对预定义的环境布局和目标进行优化的，例如贪婪

中，执行探索未知杂乱环境的重要任务。由于这些环境具有不可地最小化移动距离或最大化信息增益。然而，受影

预测性，因此可以使用深度学习技术来执行这些任务。本文中，响的USAR环境是不可预测的，因为其布局在后可

我们首次使用深度学习来解决USAR应用中的机器人探索任务。能会发生重大变化，使得无法依赖已知的布局。此外，

特别是，传统的基于前沿（frontier‑based）探索方法与

USAR环境彼此之间也各不相同，并不完全一致。

深度强化学习相结合，使机器人能够自主探索未知的杂乱环境。

通过在不同大小和布局的未知杂乱环境中进行移动机器人实验，通用的机器人探索问题也已被表示为旅行商问题

结果表明所探索方法能够有效确定合适的前沿位置进行导（TSP），其中既使用了利用优化的TSP求解器，也使

航，并且对不同的环境布局和尺寸具有鲁棒性。此外，与其他前用了前沿探索技术[9]。在探索任务中引入TSP求解器的

沿探索方法的对比研究表明，我们基于学习的前沿探索技术能够优势是可以获得接近最优的解。然而，仍然需要环境的

在探索任务的早期阶段探索的环境区域，从而可能在时间紧

先验信息，例如拓扑度量图。

迫的探索任务开始时识别出的受困人员。

机器学习（ML）技术在计算机视觉和机器人应用中变

得越来越流行。传统的机器学习和深度学习技术已被应用

于图像分类[13]–[16],、目标检测[17],[18],、机器人团

队任务分配[18],以及机器人视觉里程计[19],[20]问题。

I.引言

移动救援机器人可以部署在恶劣的城市搜索与救援针对机器人探索问题，强化学习（RL）已被用于探

（USAR）场景中，协助探索未知的杂乱环境并搜寻被索未知环境。特别是，RL方法已被用于教机器人如何随

困人员。在USAR中使用此类机器人的优势在于有助于时间推移探索各种未知环境[21]。然而，这些方法需要

减轻救援人员的工作负担并提高其态势感知能力[1]。手工设计机器人状态特征，并且受到维度的影响

此外，救援机器人还可以作为额外的智能体，帮助在这[22]。这限制了它们在具有低维状态空间的完全可观察

些时间敏感的任务中加快对受困人员的搜寻速度。环境中的应用[23]。

为了解决USAR环境中的自主探索问题，救援机器人

需要在未知环境中导航到不同的位置，以绘制环境地图，已经提出了深度强化学习（DRL）方法来解

并定位潜在的受困者[2]。同时定位与建图（SLAM）技