基于联邦强化学习的车联网信道接入策略研究.pdfVIP

基于联邦强化学习的车联网信道接入策略研究

摘要

车联网（VehicletoEverything,V2X）通信对于支持互联网车辆和运输服务等

方面具有至关重要的意义。为了提高道路安全、交通效率和车辆娱乐体验，蜂窝

车联网（CellularV2X，C-V2X）技术使用共享资源池，同时提供车到基础设施

（VehicletoInfrastructure,V2I）通信和车到车（VehicletoVehicle,V2V）通信。

然而，这造成了V2I链路和V2V链路在接入信道时不可避免的干扰问题。因此，

在有限的频谱范围内管理干扰并支持V2I和V2V通信对于V2X通信具有重要

意义。

传统的优化方法在解决V2X通信中的信道接入控制问题上存在一定的局限

性。首先，车辆的高移动特性使得很难以低信令开销获得快速变化的移动链路的

精确信道状态信息（ChannelStateInformation,CSI）。其次，一些V2X通信的服

务要求很难以用精确的数学方法解决，如V2V链路的可靠性以及V2V链路占用

频谱资源的公平性等。随着硬件的计算能力和可用性的提升，机器学习方法，如

深度强化学习（DeepReinforcementLearning,DRL），作为能有效解决不确定性条

件下决策问题的强大工具，近年来被广泛运用于无线通信领域。然而，简单的将

DRL方法运用到车联网信道接入控制中，会面临一些挑战。一方面，集中式训练

方法需要将全局CSI上传至中央服务器，虽然性能较优，但会导致大量的通讯开

销。另一方面，完全分布式的训练方法虽然能减少通讯开销，但在高动态的车辆

环境中难以快速收敛。为此，本文结合DRL和联邦学习（FederatedLearning，

FL），研究了C-V2X通信的信道接入控制问题，旨在通过FL构建高效的分布式

框架，更好地将DRL方法应用于车联网信道接入控制。本文的主要工作如下所

示：

第一阶段，本文提出了一种采用分布式联邦深度强化学习（FederatedDeep

ReinforcementLearning，FDRL）的信道资源分配方法。该方法结合了多智能体深

度Q学习（DeepQLearning，DQL）的最新进展和联邦分布式框架的优势，仅通

过基站的协助聚合部分模型参数，使得所有智能体无需上传环境数据，而能够在

本地进行训练模型，从而减少网络开销并提高整体性能。仿真结果表明，与其它

对比方法相比，所提出的FDRL算法在要求的V2I通信和V2V通信服务质量

（QualityofService，QoS）方面表现更优。

第二阶段，为解决车联网中的复杂车辆环境下DQL只能处理低维、离散动

作空间的局限性，提出了一种基于联邦深度确定性策略梯度（FederatedDeep

DeterministicPolicyGradient，FDDPG）的算法。该算法保持了联邦学习的优势，

并采用演员-评论家（Actor-Critic）的架构处理较大连续动作空间，同时利用深度

Q学习的确定性策略减少Actor-Critic采样时的计算成本，使其适用于真实和复

杂的车联网环境。最终的仿真验证结果表明，该方法不仅在V2I传输速率和V2V

传输成功率的性能表现上优于对比方法，而且可以提高智能体之间占用信道资源

的公平性。

关键词：车联网通信，联邦学习，深度强化学习，深度确定性策略梯度，信道资

源分配

FederatedReinforcementLearning-basedChannelAccess

StrategyResearchforVehicularNetworks

ABSTRACT

VehicletoEverything(V2X)communicationsarecriticaltosupportingInternet-

enabledvehiclesandtransportationservices,amongotherthings.Toimproveroad

safety,trafficefficiencyandvehicleentertainment