基于信息熵的通信高效去中心化学习调度-计算机科学-机器学习-信息熵-通信网络-调度.pdfVIP

基于信息熵的通信高效去中心化学习调度

JaiprakashNagar,ZhengChen,MariosKountouris,PhotiosA.Stavrou

CommunicationSystemsDepartment,EURECOM,Sophia-Antipolis,France

DepartmentofElectricalEngineering,LinköpingUniversity,Sweden

DaSCI,DepartmentofComputerScienceandArtificialIntelligence,UniversityofGranada,Spain

Abstract—本文通过引入基于节点和链路的调度策略来提高通信链接和节点的重要性。在通信网络中，每个链接对连接性的贡献

效率，解决了资源受限网络中的去中心化随机梯度下降（D-SGD）问不同——有些影响很小，而另一些则是关键的。类似地，网络中

题。在D-SGD算法的每次迭代中，只有少数互不相交的节点或链路子

的节点重要性反映了其在网络结构和动态中的角色和影响。此

集会被随机激活，且受到给定的通信成本约束的影响。我们提出了一

种基于信息熵的新颖重要性指标来确定节点和链路调度的概率。通过外，计算节点的重要性有助于评估网络对节点故障的脆弱性和

广泛的模拟实验验证了我们的方法的有效性，并将其与最先进的方法节点对网络内信息流动的影响[12]。在去中心化学习的背景下，

进行了比较，包括用于节点调度的介数中心性（BC）以及用于链路调在分配调度概率以最大化收敛速度时应考虑节点的重要性。存

度的MATCHA。结果显示，在节点调度的情况下，我们方法的表现始在几种用于计算图中链接/节点重要性的方法，例如[13]，[14]，

本终优于基于BC的方法，通信预算最多可降低60%，且收敛速度更快。[15]中的工作考虑了介数中心性（BC）指标，因为它比其他中

在较高的通信预算（超过60%）情况下，我们的方法保持了相当或更

译优的表现。在链路调度的情况下，我们的方法提供了与MATCHA相心性度量更准确地衡量节点的重要性。然而，在大型和密集连

中当或者更好的结果。接的拓扑中，BC方法在识别关键节点方面效果较差。此外，对

IndexTerms—去中心化机器学习，信息熵，重要性度量，通信网于不规则的拓扑结构，BC并不适用，因为所有一度的节点始

1

络，调度。

v终得到一个零BC值，无论它们潜在的重要程度如何。

6

2I.介绍本文建立在[15]所呈现的工作基础上，该工作采用基于

4BC的节点调度方法进行部分通信的分散式学习。相比之下，

7使用分散的数据和模型聚合进行机器学习（ML）模型的协作训我们引入了一种新颖的信息熵（IE）度量标准来评估链接和节

1

.练相比集中式学习具有优势，如降低了通信成本、增强了隐私点的重要性。此度量标准比现有的中心性度量更准确地识别网

7

0保护、提高了可扩展性以及对单点故障具备更强的鲁棒性[1],络中的关键组件。通过量化节点局部连接的信息丰富性和多样

5[2]。在这种设置下，节点在其本地数据集上训练一个共享的ML性，我们的方法直接捕获其结构复杂性和其直接环境的影响。

2

:模型而不与网络中的其他节点分享该模型，从而保护了用户隐因此，节点重要性的评估在计算效率和鲁棒性方面更为优越，

v私[3]。然后，每个节点通过相邻节点之间的点对点通信将本地特别是在大型、复杂且密集连接的网络中，其中局部