RAISE: 图像合成与评估的真实度评估.pdfVIP

RAISE:图像合成与评估的真实度评估

AniruddhaMukherjee,SprihaDubey,SomdyutiPaul

DepartmentofComputerScienceandEngineering,KalingaInstituteofIndustrialTechnology,Bhubaneswar,India

mukh.aniruddha@

DepartmentofMetallurgicalandMaterialsEngineering,IndianInstituteofTechnologyKharagpur,Kharagpur,India

sprihadubey2004@

DepartmentofArtificialIntelligence,IndianInstituteofTechnologyKharagpur,Kharagpur,India

somdyuti@ai.iitkgp.ac.in

Equalcontribution

本摘要—生成式人工智能的快速发展使得能够创造出高度逼尽管存在这样的挑战，逼真的合成数据在许多场景

译真的视觉内容，为在获取真实数据困难或昂贵的情况下提供了实中可能极具价值，特别是在获取或访问真实数据困难、

中用的替代品。然而，可靠地用AI生成的内容代替真实的视觉内昂贵或侵入的情况下。虽然大规模的图像和视频数据集

容需要对AI生成的视觉内容的感知真实性进行稳健评估，这是

2是可用的，但类似规模的公共数据集在生物医学成像等

v一个由于其内在主观性而极具挑战性的任务。为此，我们开展了

领域的罕见程度很高，因为获取此类图像通常既昂贵又

3一项全面的人类研究，评估了真实图像和AI生成图像的感知真

3实性，由此产生的新数据集在本文中被称为RAISE，包含与主具有侵入性，而分发这些图像是可能会受到旨在保护个

2

9观真实性评分配对的图像。此外，我们在RAISE上开发并训练体受试者隐私协议的限制。同样，高分辨率卫星图像、

1.了多个模型，以建立现实性预测的基线。我们的实验结果表明，水下图像和天文图像需要高度专业化的成像设备，使其

5源自深度基础视觉模型的特征可以有效地捕捉主观真实性。因难以获得。此外，即使是自然场景的图像和视频，如电

0

5此，RAISE为开发稳健、客观的感知真实性评估模型提供了宝影片段，也可能受到版权的限制，这限制了它们在大多

2贵的资源。

:数用途中的使用。这种对可用数据量的限制常常阻碍了

vIndexTerms—人工智能生成的图像，感知真实度评估，心

i理视觉人眼研究，特征设计，卷积神经网络，迁移学习等稳健深度学习模型的发展。生成式AI，能够产生逼真

x

r且特定领域的视觉数据，通过用生成样本增强现有数

a

I.介绍据，为这个问题提供了一个有希望的解决方案。然而，

基于扩散的生成模型的出现彻底改变了合成视觉这一策略依赖于量化合成数据与真实图像相似程度的

数据的创建，这类模型如Stablediffusion[1]和DALL-能力。虽然人类通常可以识别由AI产生的细微视觉伪

E2[2]达到了前所未有的照片级真实感。这些生成模影，但人工评估是主观且不可扩展的。因此，开发可靠

型处理复杂文本和视觉提示以产生照片级真实结果的的模型以量化感知逼真度对于实际部署AI生成的视觉

能力使它们区别于其前身，比如基于生成对抗学习或变内容至关重要——这是一个尚