Talk2Image: 一个多智能体系统用于多轮次图像生成和编辑.pdfVIP

Talk2Image:一个多智能体系统用于多轮次图像生成和编辑

ShichaoMa,YunheGuo,JiahaoSu,QiheHuang,ZhengyangZhou,YangWang

UniversityofScienceandTechnologyofChina

Abstract（与累积用户目标不一致）和不连贯的编辑（迭代过程

中的视觉不一致性）。

文本到图像生成任务在多种媒体应用中取得了显著进

多代理系统（MAS）通过任务分解和协作提供了

展，但大多数集中在单轮场景上，并且难以应对迭代、多

轮次的创意任务。近期基于对话的系统试图弥补这一差应对这些限制的一种有前景的替代方案(Calegarietal.

距，但其单一代理、顺序范式往往导致意图漂移和不连2021;CardosoandFerrando2021)。随着像Civitai这

本贯的编辑。为了解决这些问题，我们提出了对话到图像，样的平台上专门生成模型的日益普及，一个自然的问题

译这是一种用于多轮对话场景中交互图像生成与编辑的新出现了：我们能否利用这些资源来开发一个支持持续多

中颖多代理系统。我们的方法集成了三个关键组件：从对轮图像生成和编辑的MAS框架？将这一愿景变为现实，

话历史解析意图、任务分解及专业代理间的协作执行，以必须解决三个关键挑战：（1）准确解析用户意图并将其

1及基于多视角评估机制的反馈驱动细化。Talk2Image能转化为结构化、可执行的提示；（2）将复杂任务分解为

v够逐步与用户意图保持一致并进行连贯的图像编辑。实

6多种子任务（例如，对象添加、风格修改），并通过多代

1验表明，在迭代图像生成和编辑任务中，Talk2Image在理协作协调其执行；以及（3）通过迭代反馈来完善输

9可控性、连贯性和用户满意度方面优于现有基线。

6出，以确保语义对齐和视觉质量。

0为应对这些挑战，我们提出了一种新颖的多智能体

8.介绍系统对话生图，用于多轮交互式图像生成和编辑。该系

0

5近年来，文本到图像（T2I）生成模型取得了显著统包括三个核心组件，解决了现有框架的关键限制：(1)

2进展，特别是基于扩散的方法(Ho,Jain,andAbbeel动态意图解析模块，根据对话历史合成结构化提示，直

:

v2020;Podelletal.2023)，这些方法可以从简洁的文本接缓解意图漂移；(2)模块化智能体协作机制，支持任

i提示中生成高质量和多样的图像。这推动了在艺术创务分解和专业化执行，并通过有向无环图确保跨迭代的

x

r作、图形设计、广告等领域的广泛采用。同时，像Hug-一致性和有效执行以实现连贯的编辑；以及(3)多视图

a

gingFace(Face2018)、Civitai(Civitai2022)和Ope-评估和优化循环，保持与用户意图逐步骤对齐。

nArt(OpenArt2021)这样的活跃开源社区加速了模型我们的贡献总结如下：

和工作流程的共享，拓宽了用户可选择的模型范围。•我们引入了对话到图像，这是一个专为多轮对话中

尽管取得了这些进展，大多数T2I模型仍然缺乏动的图像生成和编辑设计的首个多智能体系统。