基于数字孪生的智能路口协同自动驾驶：多智能体强化学习方法.pdfVIP

基于数字孪生的智能路口协同自动驾驶：多

智能体强化学习方法

TaoyuanYu,KuiWang,ZongdianLi,TaoYu,KeiSakaguchi,andWalidSaad

DepartmentofElectricalandElectronicEngineering,InstituteofScienceTokyo,Tokyo,TYO152-8550,Japan

BradleyDepartmentofElectricalandComputerEngineering,VirginiaTech,Arlington,VA22203,USA

Email:{yuty,kuiw,lizd,yutao,sakaguchi}@mobile.ee.titech.ac.jp,walids@

摘要—无信号灯交叉口由于复杂的交通流和盲点而存在安间的协调复杂性。车联网(V2X)通信技术，包括车对

全和效率挑战。本文提出了一种基于数字孪生（DT）的合作驾驶车(V2V)、车对基础设施(V2I)、车对行人(V2P)和车

本系统，该系统采用路边单元（RSU）为中心的架构，以提高无信对网络(V2N)，可以帮助提高交通安全和效率[6],[7]。

号灯交叉口的安全性和效率。该系统利用全面的鸟瞰图（BEV）

译在这些技术中，V2I通信在DT系统中起着核心作用，

感知来消除盲点，并采用了结合离线预训练和在线微调的混合

中强化学习（RL）框架。具体来说，驾驶策略最初使用行为克隆因为它允许物理车辆与路侧单元(RSUs)之间的实时同

1（BC）在真实数据集上通过保守Q学习（CQL）进行训练，然后步，从而支持协作驾驶策略，并将传统的交叉路口基础

v

9使用具有自我注意力机制的多智能体近端策略优化（MAPPO）设施转变为智能控制中心[8]。

9进行微调以处理动态多智能体协调。RSU通过车辆到基础设施

0（V2I）通信实现实时命令。实验结果表明，所提出的方法在协调利用V2I通信，DT系统已被应用于具有各种架构

5的交叉口管理。例如，在[9]和[10]中，作者开发了基

1多达三辆联网自动驾驶汽车（CAVs）时失败率低于0.03%，显

9.著优于传统方法。此外，该系统的计算扩展性呈次线性增长，推于RSU的DT系统，通过云计算进行连续交通监控和

0理时间小于40毫秒。进一步地，它展示了在各种无信号灯交叉实时分析。然而，这些方法专注于一般的交通监控和基

5

2口场景中的鲁棒泛化能力，表明其实用性和准备投入实际应用。本感知增强，没有解决交叉口的盲点和遮挡问题。[11]

:IndexTerms—数字孪生，协作驾驶，智能运输系统，生中的工作解决了交叉口遮挡问题，但[11]的解决方案受

v

i成式人工智能模型，盲点消除。限于本地车辆感应，无法实现完全消除盲点。尽管DT

x

r

a技术有潜力提供全面的环境意识，当前的实施[9]–[11]

I.介绍既没有通过全局鸟瞰图（BEV）消除盲点，也没有支持

交叉口管理仍然是智能交通系统（ITS）中的关键遮挡区域中的协同驾驶策略。

瓶颈，这归因于交叉口的复杂性和不确定性[1]。根据为了充分利用全面的DT感知，已经在[12]–[16]中

联邦公路管理局（FHWA）和国家公路交通安全管理局探索了各种交叉口协调算法。传统方法使用优化和博弈

（NHTSA），与交叉口相关的死亡事故占交通事故死亡论算法来管理交通流[12],[13]，但在动态环境中缺乏适

人数的重要部分，在2024年无信号灯交叉口导致的死应性。多智能体强化学习（MARL）已被提出作为在部