基于图像分割及修复的数据生成.docxVIP

50

50 2023/07/DTPT

基于图像分割及修复的数据生成

1概述

随着深度学习及大模型技术的发展，数据变得愈发重要。但特殊场景的数据存在数据量少、收集困难等问题，此外在已收集的数据中往往包含车牌、人脸等隐私数据以及一些其他的敏感数据。在以往的研究中，对于小样本任务的处理，往往采用迁移学习进行微调参数学习；对于敏感及隐私数据源，往往在数据上进行马赛克处理，遮挡敏感数据。

——————————

收稿日期：2023-05-26

本文提出一种基于图像分割［1］和图像修复［2］技术的数据生成流程结构。该方法在用户输入的指导下，基于最新的任意物体分割模型自动选取合适的目标图像区域，接着采用前沿的图像填充技术，将选中的目标区域结合周围像素生成目标图像，进而生成一组新的数字图像。同时，该结构还可以结合图像生成大模型，基于现有图像，在指定区域生成新的目标样本或者保留现有目标，更换背景生成新的场景图像。

2技术方案

本文重点介绍指定物体消除式数据生成结构，该

架构包含以下3个部分：交互式区域选择、图像自动分割、图像自动修复，同时也可以扩展应用到目标替换和背景替换。数据生成结构如图1所示。

自动修复

为模型提供更多的引导信息，适用于背景复杂的场景以及精确选择目标分割的场景。

2.2图像分割

与检测和识别任务类似，目标分割任务兴起时也预先定义了多个目标类别，并准备大量标注数据，因此早期目标分割的研究方向集中在特定目标分割领

交互选择 自动分割

图1数据生成结构

2.1交互选择

目标替换背景替换

域，而具有交互输入的任意物体分割算法研究相对较少。

特定目标分割或者语义分割往往只关注预定义好的目标类别，并且不需要交互输入，能自动在图像中分割出特定的目标区域，比如只关注人像的分割称为人像分割［3］，只关注天空的分割称为天空分割［4］等。该种分割算法的特点是往往只关注某一大类目标，并

交互选择是选择给定图中的目标物区域，包括点

选以及框选2种方式。点选是指单次点击目标区域，分割模型根据点击位置自动分割出目标的掩码；框选是预先指定一个目标区域，然后分割模型自动在目标区域内分割出目标掩码。

点选包含正样本点选择和负样本点选择，正样本点明确当前位置是目标，负样本点明确当前位置为背景区域。点选过程可以是一次性输入所有正负样本点，进而通过模型直接获得分割结果；也可以是渐进式选择，即在上一步点选及分割结果的基础上，根据分割效果，选择加入正样本或者负样本点，以达到进一步优化分割效果的目标。综上所述，点选的优点是选择快速，不限制选择范围，比如显著的大目标，仅仅通过一次点击，就可完成大目标分割；而点选的缺点是在相对复杂的背景中，如果仅通过单次点击选择不能精确锁定目标，需要根据分割结果进行多次调整选择，而每次调整都会进行模型的推理，耗时较多。总体来说，在实际应用中，相对于背景突出的简单目标推荐选择该种方式。

框选是指在目标周围提前选定好范围，相比于点选，该方式明确了目标主要集中的区域；对于模型来说，输入的引导信息更丰富。具体地，框选包括四边形以及任意多边形（通常大于四边形）。在实际使用中常见的方式是四边形，该种方式规定了目标在图像中的左上及右下位置。另一种更精确的方式是任意多边形，任意多边形构成了一个不规则的封闭区域，更好地约束了目标所在的区域范围。一个极端的多边形可以直接是目标区域，相当于直接指定了目标的所有边界点，并不需要分割。总体来说，框选方式能

不关注图像中的其他类别目标。通常语义分割只关注指定类别，而不对同一类别的不同个体做区分，比如人像语义分割，最终输出结果是所有人像的掩码区域，并不区分人像个体。在语义分割基础上进一步区分每个目标的个体则被称为实例分割，比如人像实例分割，需要分割出每个人的掩码区域。

任意目标分割或者交互式分割是预先不指定目标类别，通过用户交互式提示，分割出用户想要的目标区域。因此不论是点选还是框选交互，都作为分割模型的一个输入，旨在获得目标的精确掩码。与特定目标分割相比，交互式分割具有以下优点。

a）简单交互便能够获得较好的分割结果。b）比语义分割和全景分割更具有针对性，对单个

物体的分割效果也较优。

c）由于分割一般只集中在用户需要分割的部分图像，所以计算复杂度不高，运行时间短。

d）训练过程中多数使用的是类别不可知方式，因此对没有出现的类别有一定的泛化能力。

u在深度学习兴起之前，交互式分割的主流方法是优化算法，交互的主要形式是划线，然后利用图论的方法建立能量方程，通过最小化能量方程的方式迭代得到分割结果。由于是基于优化的实现过程，这类方法的分割效果一般，但这