一种用于动态无线电接入网络中 gNB 移动性 控制的强化学习框架.pdfVIP

一种用于动态无线电接入网络中gNB移动性

控制的强化学习框架

PedroDuarte,AndréCoelho,ManuelRicardo

INESCTEC,FaculdadedeEngenharia,UniversidadedoPorto,Portugal

pedro.r.duarte@inesctec.pt,andre.f.coelho@inesctec.pt,manuel.ricardo@inesctec.pt

摘要—无线环境日益复杂，其特点是用户移动性和动态障碍播条件的变化重新定位来为无线接入网（RAN）引入物

物，这对维持视距（LoS）连接带来了挑战。移动基站（gNBs）理上的适应性。

通过物理重新定位来恢复或维持视距，成为了一种有前景的解决

本方案，从而需要开发智能算法来进行自主运动控制。本研究是在HorizonEuropeCONVERGE项目[1]

译作为CONVERGE研究项目的一部分，该项目正在开发的框架下进行的，该项目旨在开发紧密耦合的无线电和

一个实验舱，以将计算机视觉（CV）集成到移动网络中，并在动计算机视觉系统，使网络能够实现“观看到通信，通信

中态无线环境中提高服务质量（QoS），本文提出了两个关键贡献。到观看”的功能。一个关键目标是使移动gNB能够基

1首先，我们介绍了CONVERGEChamberSimulator（CC-于实验舱内对周围环境的实时感知动态重新定位。

vSIM），这是一个用于开发、训练和验证移动gNB的移动控制算

0

6法的3D仿真环境。CC-SIM模拟了用户和障碍物的移动性、视本文解决了在动态环境中通过智能控制gNB的移

9觉遮挡以及射频（RF）传播行为。它通过与OpenAirInterface动来减轻视距（LoS）遮挡的问题。在密集城市或室内

2

0（OAI）RF仿真器紧密集成，支持离线强化学习和实时测试，从场景中，用户设备（UE）和障碍物可能会不可预测地

.而可以在真实的网络条件下进行验证。

8移动，需要快速、情境感知的决策以保持链路质量。传

0其次，利用CC-SIM，我们开发了一个深度Q网络（DQN）

5代理，该代理学会了主动响应动态环境变化来重新定位gNB。统的技术如切换和波束切换往往是反应式的，会引入延

2在三个代表性用例中的实验表明，与静态部署相比，训练过的代迟并导致性能下降。相比之下，结合环境意识的学习策

:

v理显著减少了视线阻挡时间——最多可减少42%。这些结果突略可以主动重新定位gNB以维持通信性能。

i

x出了基于学习的移动控制在自适应下一代无线网络中的有效性。

r这项工作的贡献有两点。首先，我们介绍了CON-

aIndexTerms—移动基站，gNB移动性，视距（LoS），强

化学习，移动通信，视觉辅助网络。VERGE室模拟器(CC-SIM)，这是一个能够实现空间

动态、视觉遮挡和无线信道条件真实建模的三维仿真环

I.介绍境。CC-SIM支持训练、仿真和实时测试模式，并且与

OpenAirInterface(OAI)射频模拟器紧密集成，以在真

移动网络的快速发展受到日益增长的用户需求、连

实的网络条件下进行验证。其次，我们使用CC-SIM设

接设备激增以及数据密集型应用兴起的驱动，这推动了

计并训练了一个深度Q网络(DQN)代理，该代理旨在

无线基础设施向更加先进和灵活的设计发展。在更高频