几何感知的去中心化 Sinkhorn 方法用于 Wasserstein 重心.pdfVIP

几何感知的去中心化Sinkhorn方法用于Wasserstein重心

AliBaheri,DavidMillard,andAlirezaVahid

Abstract—分布式系统需要将异构的局部概率分布融合核心问题是概率分布存在于一个弯曲的流形上，

成一个全局摘要，通过稀疏且不可靠的通信网络进行传输。传而不是平坦的欧几里得空间中。将一种分布转换为另

统的共识算法在欧几里得空间中平均分布，忽略了它们内在的

一种分布的成本取决于底层几何结构，无论是空间上

几何结构，导致了误导性的结果。Wasserstein巴氏中心提供

了一种基于最小化最优运输成本的几何感知替代方法，但通过的（传感器网络）、时间上的（时间序列）还是基于特

Sinkhorn算法的熵近似通常需要集中式协调。本文提出了一征的（机器学习）。最优传输提供了一个框架来进行这

种完全分散式的Sinkhorn算法，将集中的几何平均重新表述种感知几何的比较，通过使用一个基础成本函数[4]测

为对数域中的算术平均，从而可以通过局部闲聊协议进行近似。

量分布之间的距离来实现。

代理与邻居交换对数消息，在共识阶段和本地更新之间交替进

本行，以模仿没有协调器的集中式迭代。为了优化带宽，我们整合Wasserstein度量下的重心扩展了这一概念，能够

了事件触发传输和b位量化，提供了在准确性和通信之间的可在保持几何结构的同时对多个分布进行平均处理[5]。

译调折衷，并适应异步和数据包丢失。在温和假设下，我们证明与欧几里得平均不同，Wasserstein重心能够维持分布

中收敛到集中的熵巴氏中心的一个邻域内，偏差与共识容差、触形状，尊重空间或特征关系，并且对异常值具有鲁棒

发阈值和量化误差线性相关。复杂度几乎与网络大小呈线性关

1系。仿真结果证实了在各种拓扑结构和条件下，使用显著减少性。这些特性推动了它们在计算机视觉[6]、计算生

v

1的消息实现了接近集中式的准确度。物学[7]、机器学习[8]和机器人应用[9]中的应

2

5用，其中分布的几何结构至关重要。

4I.介绍计算挑战在于高效地计算这些重心。精确计算的

1

9.分布式系统越来越需要在稀疏、不可靠的链路上成本极高，但熵正则化通过Sinkhorn算法[10]使实际

0近似成为可能。这种方法迭代交替执行每个代理上的

5将异构局部概率分布融合成网络范围内的汇总[1],

2局部缩放操作和全局几何平均值计算。然而，几何平

:[2]。考虑自主机器人共享关于目标位置的信念，传

v均值步骤需要在每次迭代中收集所有代理的信息，从

i感器网络聚合环境测量数据，或者边缘设备在不共享

x而形成一个根本性的集中瓶颈，破坏了分布式计算的

r原始数据的情况下合作机器学习模型的情况。在每种

a目的。

情况下，各个节点都维护着必须结合起来以获得有意

现有的分散式方法存在关键限制。ADMM和原

义共识的概率分布。

对偶方法[11],[12]交换完整的耦合矩阵或对偶变量，

经典的分布式共识算法将概率分布视为欧几里得