利用位置编码器应对地理分布变化的鲁棒性.pdfVIP

利用位置编码器应对地理分布变化的鲁棒性

RuthCrasto

Microsoft

ruthcrasto@

Abstract然而，这种方法忽略了区域内多样性及区域间的相似

性，并且通常可用作元数据的地理坐标被丢弃。

地理分布变化发生在训练数据集中的地球位置分布与本文的中心思想是使用位置编码器来建模一个潜

本测试时看到的不同时。解决地理分布变化最常见的方法在的、连续的域分配函数，而不是离散的区域标签。位

是将由行政边界（如国家或大陆）划分的区域视为不同置编码器是一种参数化函数，将地理坐标映射到适合

译的域，并应用标准领域适应方法，忽略通常作为元数据学习的高维潜空间[11]中。随着带地理标记图像数据

中提供的地理位置坐标。本文提出了使用位置编码器来建集[17]的兴起，位置编码器已经成为一种广泛适用的工

2模连续、可学习的域分配。我们展示了如何结合非参数具，并可用于编码丰富的领域特定信号。特别是，地理

v正弦-余弦编码器和预训练的位置编码器与标准领域的

6坐标已被证明对于各种预测任务是有用的输入，包括

3适应方法以提高对地理分布变化的鲁棒性。我们的方法地理定位[18]、图像分类[1]、回归[8]和超分辨率[12]。

0

在WILDS基准测试中的两个带有地理位置标签的遥感

2在这篇论文中，我们展示了位置编码器如何可以

0数据集上达到了新的最先进的结果。我们已将代码公开

.自然地整合到各种领域适应方法中以提高对地理分布

3提供于：/crastoru/wilds-geoshift。变化的鲁棒性。我们使用了来自WILDS基准的两个遥

0

5感数据集进行实验：FMoW[3]和PovertyMap[21]。经

2

:1.介绍验上，我们证明了我们的提出的方法在地理分布变化

v

i下的最差组性能指标上带来了显著改进。值得注意的

x

r经验风险最小化（ERM）假设一组独立同分布（独是，我们在这两个数据集上的WILDS排行榜上取得了

a

立同分布）的训练样本。学习到的预测器在推理时预计新的最先进的结果。

能够很好地推广到未见过的数据，前提是这些数据是

从相同的分布中独立抽取的。在许多现实世界的应用2.背景

中，这些假设并不成立[4]。

2.1.亚群转移

在这篇论文中，我们关注一种违反这些假设的特

定方式，称为亚群体转移[9]。在这种设置下，1)训练使用ERM在子群变化中学习预测器

数据不是独立同分布而是来自许多不同的分布（域），时可能出现什么问题？直观地说，不同的域可能具有不

且2)推理数据则从相同的域的不同混合中抽取。子群同的特征集来预测目标，而学习到的预测器必须依赖

体变化在许多遥感应用[5]中自然出现，其中训练和推于每个域正确的特征集而不依赖于偶然的