基于图像分割及修复的数据生成.pdfVIP

基于图像分割及修复的数据生成

［1］［2］

本文提出一种基于图像分割和图像修复技术

1概述

的数据生成流程结构。该方法在用户输入的指导下，

随着深度学习及大模型技术的发展，数据变得愈基于最新的任意物体分割模型自动选取合适的目标

发重要。但特殊场景的数据存在数据量少、收集困难图像区域，接着采用前沿的图像填充技术，将选中的

等问题，此外在已收集的数据中往往包含车牌、人脸目标区域结合周围像素生成目标图像，进而生成一组

等隐私数据以及一些其他的敏感数据。在以往的研新的数字图像。同时，该结构还可以结合图像生成大

究中，对于小样本任务的处理，往往采用迁移学习进模型，基于现有图像，在指定区域生成新的目标样本

行微调参数学习；对于敏感及隐私数据源，往往在数或者保留现有目标，更换背景生成新的场景图像。

据上进行马赛克处理，遮挡敏感数据。

2技术方案

——————————

收稿日期：2023-05-26本文重点介绍指定物体消除式数据生成结构，该

架构包含以下3个部分：交互式区域选择、图像自动分为模型提供更多的引导信息，适用于背景复杂的场景

割、图像自动修复，同时也可以扩展应用到目标替换以及精确选择目标分割的场景。

和背景替换。数据生成结构如图1所示。2.2图像分割

与检测和识别任务类似，目标分割任务兴起时也

自动修复预先定义了多个目标类别，并准备大量标注数据，因

此早期目标分割的研究方向集中在特定目标分割领

交互选择自动分割目标替换域，而具有交互输入的任意物体分割算法研究相对较

少。

背景替换特定目标分割或者语义分割往往只关注预定义

好的目标类别，并且不需要交互输入，能自动在图像

中分割出特定的目标区域，比如只关注人像的分割称

图1数据生成结构

［3］［4］

为人像分割，只关注天空的分割称为天空分割等。

2.1交互选择该种分割算法的特点是往往只关注某一大类目标，并

交互选择是选择给定图中的目标物区域，包括点不关注图像中的其他类别目标。通常语义分割只关

选以及框选2种方式。点选是指单次点击目标区域，注指定类别，而不对同一类别的不同个体做区分，比

分割模型根据点击位置自动分割出目标的掩码；框选如人像语义分割，最终输出结果是所有人像的掩码区

是预先指定一个目标区域，然后分割模型自动在目标域，并不区分人像个体。在语义分割基础上进一步区

区域内分割出目标掩码。分每个目标的个体则被称为实例分割，比如人像实例