巴拿马：数字孪生生态系统中多智能体路径寻找的网络感知型 MARL 框架.pdfVIP

巴拿马：数字孪生生态系统中多智能体路径

寻找的网络感知型MARL框架

ArmanDogru,R.IremBor-Yaliniz,SeniorMember,IEEE,andNimalGaminiSenarath

HuaweiCanadaAdvancedResearchCenter

Ottawa,Canada

摘要—数字孪生（DT）通过先进的数据处理和分析正在改商（AP），以供其获取必要的洞察；另一方面，假设AP

变行业，将数字孪生的世界数字世界定位为包括具身人工智能在数据暴露给网络提供商（NP），以便NP获取相关信息。

内的下一代技术的基石。随着机器人技术和自动化系统的规模扩这两种情形从实际和监管角度来看都不理想。本文认为

大，高效的数据共享框架和强大的算法变得至关重要。我们探讨

数字孪生可以在创建数据暴露缓冲区中发挥关键作用，

了在数字孪生生态系统中数据处理的关键作用，重点关注应用程

本并通过提出一种基于新型多智能体强化学习（MARL）

序提供商与网络提供商（AP/NP）之间的动态关系。我们介绍

译了一种新型算法PANAMA，该算法基于网络感知多智能体强的多智能体路径寻找（MAPF）算法（PANAMA），展

中化学习（MARL）的多智能体路径寻找（MAPF），并具有优示如何在平衡的数据暴露下，NP和AP都能从中获益，

1先级不对称性。通过采用集中式训练与分布式执行（CTDE）框同时提高通信效率和可靠性。

v架和异步演员-学习者架构，PANAMA加快了培训过程，并使

7首先，我们提出一个数字孪生生态系统，在这个系

6具身人工智能能够自主执行任务。我们的方法在准确性、速度和

7可扩展性方面显示出优于现有基准的路径寻找性能。通过模拟，统中，各种现实实体（如人类、机器人和网络）所属的

6我们强调了面向大规模自动系统的优化数据共享策略，确保复杂数字孪生体。这些数字孪生体可以收集数据、提供信

0

.现实环境中的韧性。PANAMA弥合了网络感知决策与强大的息、控制执行器，并与其他数字孪生体及现实实体进行

8

0多智能体协调之间的差距，促进了DTs、无线网络及人工智能交互。在图1中，我们展示了该生态系统的一个子集，

5驱动自动化之间的协同作用。

2IndexTerms—多智能体路径规划，深度强化学习，课程包括机器人的数字孪生（D-机器人）、工厂的数字孪生

:（D-工厂）和网络的数字孪生（D-网络）。这些数字孪生

v学习，6G及Beyond网络，具身AI，数字孪生，无线通信。

i体合作训练D-机器人，并使用推理持续测试操作性能。

x

r

aI.介绍请注意，网络提供集成传感和通信（ISAC）服务以维

具身人工智能（EmbodiedAI）作为实现高水平自持数字孪生并支持操作分析。所提出的架构可以在多个

动化的关键使能器，它使得诸如机器人等物理实体能够框架中应用。例如，在一个全自动仓库场景中，该框架

感知并与环境动态交互[1]。6G及更高级别的网络可以中的数字孪生体可以作为代理智能操作的代理。提议的

在支持通信、传感和计算卸载方面为具身AI发挥关键数字世界控制功能（DWCF）和数字世界数据处理功能

作用[2]。另一个使能器可以是数字孪生，它能够提供复（DWDPF）分别提供了控制和数据计划功能，以实现

杂环境下实现高水平自动化的实质性验证、测试和预测DT网络（DTN）的动态创建和运行。当扩展到解决复

能力[3],[4]。两种方法的交汇处是数据。事实上，随着杂和关键场景时，这个生态系统的优点变得明显。

6G标准的制定