增强合成数据面部识别中的领域多样性通过数据集融合-计算机科学-机器学习-人脸识别.pdf

增强合成数据面部识别中的领域多样性通过数据集融合

AnjithGeorgeandSébastienMarcel

IdiapResearchInstitute,Switzerland

{anjith.george,sebastien.marcel}@idiap.ch

Abstract厚。这一转变体现在专注于合成面部识别数据集的公

开基准和竞赛的出现[5,6,18,19,28]。

尽管近年来面部识别系统的准确性有了显著提高，但

大多数现有的合成人脸数据集生成工作依赖于生

用于训练这些模型的数据集通常是通过网络爬虫收集

本的，并未获得用户的明确同意，这引发了伦理和隐私方成模型，如StyleGAN[14]、扩散模型[25]或基于图形

的渲染管线[1]。虽然生成模型可以产生高质量的图像，

译面的担忧。为了解决这一问题，许多近期的方法探索了

但它们通常需要大量的真实数据来训练生成网络，并且

中使用合成数据来训练面部识别模型的可能性。然而，与

经常使用像FFHQ[14]这样的数据集来学习底层人脸

1那些基于真实世界数据进行训练的模型相比，这些模

v型的表现通常较差。一个常见的限制是，通常会用单一分布。相比之下，基于图形的方法，如DigiFace-1M[1]

0利用渲染管线在不需要大量真实图像数据集或预训练

9生成器模型创建整个合成数据集，这会导致特定于模

7的人脸识别网络的情况下合成面部图像。这些方法借

6型的伪影，可能导致过度拟合到生成器内在的偏见和鉴了类似[30]的技术，结合3D面部几何、纹理和发型。

1伪影。在这项工作中，我们提出了一种解决方案，即将

.这使得可以通过改变姿态、面部表情、照明和配饰来生

7使用架构不同的主干生成的两个最先进的合成面部数

0成类内变化。值得注意的是，这样的管线能够合成大量

5据集结合起来。这种融合减少了特定于模型的伪影，增

2强了姿势、照明和人口统计学的多样性，并通过强调身独特身份，并具有多样化的类内变异性以及广泛的种

:族代表性。此外，它们支持通过在合成过程中明确定义

v份相关特征来隐式地正则化面部识别模型。我们使用

i特定属性来进行受控生成。

x标准的面部识别基准评估了基于此组合数据集训练的

r

a模型性能，并证明我们的方法在许多这些基准上实现尽管取得了这些进展，仅在合成数据集上训练的

了更优的表现。模型通常表现不如在真实世界数据上训练的模型。现

有合成数据集的一个常见限制是它们通常是使用单一

生成模型或流程完全生成的。这可能会引入特定于生

1.介绍