SkinDualGen：提示驱动的扩散方法用于同时生成皮肤病变的图像和掩码-计算机科学-人工智能-医学图像合成-数据扩增.pdfVIP

SkinDualGen：提示驱动的扩散方法用于同时生成

皮肤病变的图像和掩码

ZhaobinXu

ShandongUniversity,Qingdao,China

sea.xuo@

摘要医学图像分析在皮肤病等疾病的早期诊断中起着关键作用。然而，数

据的稀缺和类别不平衡极大地阻碍了深度学习模型的表现。我们提出了一

本种新颖的方法，该方法利用预训练的StableDiffusion-2.0模型生成高质量

译的人工皮肤病变图像及其对应的分割掩模。这种方法增强了分类和分割任

中务的训练数据集。通过领域特定的低秩适应（LoRA）微调和多目标损失

函数的联合优化，我们调整了StableDiffusion-2.0模型，使其能够根据文

1

v本描述在一步中同时生成具有临床相关性的图像和分割掩模。实验结果表

0明，生成的图像经FID分数验证，在质量上与真实图像极为相似。结合实

7际数据和合成数据的混合数据集显著提升了分类和分割模型的表现，准确

9

9率和F1得分提高了8%到15%，Dice系数和IoU等其他关键指标也取得

1了积极的改善。我们的方法为解决医学成像数据面临的挑战提供了可扩展

.

7的解决方案，有助于提高罕见疾病诊断的准确性和可靠性。

0

5

2Keywords:稳定扩散·医学图像合成·数据扩增·皮肤病变的人工智

:

v能·大型语言模型。

i

x

r

a1介绍

医学图像分析是现代医学的基础，尤其是在早期检测皮肤病变方面。尽

管其重要性不言而喻，但医学图像分析面临两大主要挑战：高质量标注数据

的稀缺性和类别不平衡。首先，获取医学图像需要专门的设备和人员，而标

注过程依赖于经验丰富的皮肤病专家，使得数据收集既昂贵又耗时。其次，

皮肤病变数据集通常表现出严重的类别不平衡现象，良性病变（如痣）的数

量远远超过恶性病变（如黑色素瘤）的数量。这种差异在训练过程中使深度

学习模型偏向多数类，从而影响其准确检测少数类、罕见病变的能力。

传统的数据增强技术——如旋转、翻转和颜色调整——提供的多样性

有限，无法充分解决类别不平衡问题，尽管它们在一定程度上增加了数据

量[27]。因此，合成数据生成作为一种有前景的方法出现了，它通过产生

多样且高质量的图像和标注来克服这些限制。Koetzier等人[20]回顾了生

成模型在医学成像中的应用价值，而Ktena等人[21]则展示了生成模型可

以提高分类器的公平性，提供了减轻类别不平衡的新策略。近年来，Stable

Diffusion，一个预训练的基于扩散的模型，能够从文本提示中有效生成高质

量图像，提供强大的灵活性和控制能力[24]。

本文介绍了一种利用稳定扩散生成合成皮肤病变图像和分割掩模的方

法，从而丰富分类和分割任务的训练数据集。我们使用LoRA[14]对稳定扩

散进行微调，并提出了