基于联合学习的 MARL 在 B5G 网络中增强物理层安全性的研究-计算机科学-6G蜂窝网络-联邦学习-多智能体深度强化学习-物理层安全.pdf

基于联合学习的MARL在B5G网络中增强

物理层安全性的研究

DeemahH.Tashman,SoumayaCherkaoui,andWalaaHamouda

DepartmentofComputerandSoftwareEngineering,PolytechniqueMontreal,Montreal,Canada

DepartmentofElectricalandComputerEngineering,ConcordiaUniversity,Montreal,Canada

Email:{deemah.tashman,soumaya.cherkaoui}@polymtl.ca,hamouda@ece.concordia.ca

摘要—本文探讨了基于联邦学习的多智能体强化学习用深度神经网络（DNNs）处理高维输入数据以逼近

（MARL）策略在5G及以后网络背景下增强蜂窝网络物理层复杂函数[11],[12],[13]，如价值函数或策略，这些是

安全性的应用。在网络中的每个小区，一个基站（BS）作为深RL的重要组成部分。然而，未来的蜂窝网络可能需

本度强化学习（DRL）代理运行，与周围环境交互以最大化合法要多个实体的合作来避免非平稳问题[14]并提高学习

译用户在窃听者存在时的秘密传输速率。该窃听者试图拦截BS效率，从而提升网络性能和安全性。因此，多代理强

与其授权用户之间共享的机密信息。这些DRL代理被视为联

中邦化的，因为它们仅与中央服务器共享网络参数，而不分享其化学习（MARL）被提出以应对这一挑战，在MARL

1合法用户的私人数据。本文探讨并比较了两种DRL方法：深中，一个代理可以快速训练，并从共存于共享环境中

v

7度Q网络（DQN）和强化深层策略梯度（RDPG）。结果表的其他代理的知识中受益[15]。在MARL中，代理基

9明，RDPG比DQN收敛更快。此外，我们证明了所提出的于其他代理的动作和行为调整其策略。

9

6方法优于分布式DRL方法。另外，结果说明了安全性和复杂将ML方法论纳入在整个训练和测试阶段引入了

0性之间的权衡。

7.IndexTerms—B5G网络，6G蜂窝网络，联邦学习，额外一类安全漏洞[16]。具体来说，在MARL场景中，

0多智能体深度强化学习，物理层安全。RL代理之间的信息共享由于可能存在未经授权的信

5

2息拦截而带来潜在的安全漏洞。最近，联邦学习（FL）

:I.介绍被提出作为在需要聚合来自多个设备的数据时提升隐

v

i

xHY物理层安全（PLS）已在5G中作为可靠的私性的策略[17],[18]。在FL中，仅共享训练参数，同

r

aP安全方法，用于评估和提高对物理层攻击的防时私人用户数据保持不公开状态[19]。在基于FL的

御能力[1]，并且它将是保障6G网络安全性的重要组DRL背景下，代理选择特定的DRL方法，并随后仅

成部分之一[2],[3]。PLS依赖于信道变化来评估并增将DNN参数通信给中央单元（CU）。CU收集这些参

强敏感数据的隐私性。具体来说，在由Wyner首次数并应用数学运算，如简单的平均操作。然后，将得

提出的三节点窃听模型中[4]，只要合法终端之间的信到的平均后的DNN参数分发给各个代理以更新其训

道，即主信道，比发送方与恶意用户（窃听者）之间练模型。因此，代理将以安全的方式从其他代理的训

的信道更为可靠，就可以保证安全性，后者被称为窃练中获益。

听链路[5],[6],[7]。在PLS领域中，利用基于FL的机