SwarmVLM：由 VLM 引导的阻抗控制实现异构机器人在动态仓库中的自主导航.pdfVIP

SwarmVLM：由VLM引导的阻抗控制实现异构机器人在动态

仓库中的自主导航

MalaikaZafar,RoohanAhmedKhan,FaryalBatool,YasheerahYaqoot,ZiangGuo,

MikhailLitvinov,AlekseyFedoseev,andDzmitryTsetserukou

Abstract—随着对高效物流需求的增长，无人机（UAV）

越来越多地与自动导引车（AGV）配对使用。虽然无人机能够

穿越密集环境和不同海拔，但它们受到电池寿命、载重能力和

飞行时间的限制，因此需要协调的地面支持。

聚焦于异构导航，群集视觉语言模型通过阻抗控制实现无

本人机和地面机器人之间的语义协作来解决这些限制。该系统利

用视觉语言模型（VLM）和检索增强生成（RAG）根据环境

译变化调整阻抗控制参数。在此框架中，无人机作为领导者使用

中人工势场（APF）规划进行实时导航，而地面机器人通过自适

应链路拓扑的虚拟阻抗链接跟随，以避免与短障碍物发生碰撞。

1该系统在12次真实世界试验中展现了92%的成功率。在

v

4最佳光照条件下，VLM-RAG框架实现了80%的物体检测和

1阻抗参数选择准确性。移动机器人优先考虑短距离障碍物避让，

8偶尔会导致其偏离无人机路径达50厘米，这展示了其在杂乱

7

0环境中的安全导航能力。

.SwarmVLM的视频：https://youtu.be/Id-

8

0lUhQfz8w0

5关键词：视觉语言模型（VLM），检索增强生成

2

:（RAG），异构机器人，路径规划，人工势场，阻抗控制

vFig.1.自适应群体导航框架。该系统通过VLM-RAG系统处理环境的俯

i

x视图，根据环境中障碍物的排列和数量来确定阻抗参数。还在真实环境中进

rI.介绍行了实验以评估系统的鲁棒性和泛化能力。

a

自动化和人工智能的进步通过启用减少人为错误限制。将UAV与地面机器人集成可以形成一种结合

并提高运营效率的自主系统，显著改善了物流和仓库空中敏捷性和地面稳定性的混合系统。

管理[1]。自动导引车（AGV）和移动机器人传统上为了实现这种异构合作，我们提出了一种名为群

由于其可靠的位置定位和高载荷能力，在室内和最后集视觉语言模型的领导-跟随框架，在该框架中，无人

一英里配送中占据主导地位[2]。相比之下，无人驾机使用基于人工势场（APF）的规划器进行引导，移

驶飞机（UAV）在三维空间中的快速灵活移动使它们动机器人通过虚拟阻抗链接[4]跟随。移动机器人还会

成为跨越障碍物并通过受限环境的理想选择。例如，与无人机无法检测到的短小障碍物形成临时的阻抗链

Cristiani等人[3]提出了一种微型无人机群用于库存接，同时一个定制的PID控制器最小化其路径偏差。

追踪。然而，UAV受到载荷、飞行时间和感知范围的这种架构确保了在密集和动态环境中的可靠运行。为

了进一步增强适应性，我们将视觉语言模型（VLM）

TheauthorsarewiththeIntelligentSpaceRobotics

Laboratory,SkolkovoInstituteofScienceandTech-与检索增强生成（RAG）框架集成。该VLM-RAG

nology,Moscow,Russia.{malaika.zafar,roohan.khan,模块解释自上而下的环境视图，并从场景数据库中检

faryal.batool,yasheerah.yaqoot,ziang.guo,mikhail.litvinov,