SketchAgent：从手绘草图生成结构化图表.pdfVIP

SketchAgent：从手绘草图生成结构化图表.pdf

SketchAgent：从手绘草图生成结构化图表

ChengTan,QiChen,JingxuanWei,GaoweiWu,ZhangyangGao,SiyuanLi,Bihui

Yu,RuifengGuo,StanZ.Li

WestlakeUniversity,ZhejiangUniversity,UniversityofChineseAcademyofSciences

tancheng@,weijingxuan20@

Abstractetal.,2024;Huangetal.,2024;Lietal.,2019不同，后]

者近年来通过诸如可控自然图像生成等技术取得了显著

手绘草图是一种捕捉和传达想法的自然且高效

进展，草图到图表的任务不仅需要视觉保真度——它还

的媒介。尽管在可控的自然图像生成方面取得

需要理解并形式化图表内在的结构和语义关系。

了显著进展，但将自由手绘的草图转换为结构

我们引入了一个新任务，草图到图表生成，该任务

化、机器可读的图表仍然是一项劳动密集型且

本主要依靠手动的任务。这一挑战的主要来源在涉及将手绘草图转换为结构化的、机器可读的图表。如

图1所示，此任务与可控自然图像生成有着根本的不同，

译于草图本身固有的模糊性，缺乏自动化生成图

因为它关注的不是生成美观的视觉效果，而是合成符合

中表所需的结构性约束和语义精确度。为了应对特定结构规则的精确且语义上有意义的图表。这种转换

1这一挑战，我们引入了SketchAgent，这是一个需要解决几个核心挑战：(1)处理自由手绘草图中存在的

v多代理系统，旨在自动将手绘草图转换为结构

7化的图表。SketchAgent结合了草图识别、符号固有模糊性和变异性，(2)保持图组件之间的空间和结构

3关系，以及(3)生成一个在语法上有效且与用户意图语

2推理和迭代验证，以产生语义连贯且结构准确

1的图表，显著减少了手动工作的需求。为了评估义对齐的输出。这些挑战使得草图到图表生成成为一个

0高度专业化且研究不足的问题，与现有工作区别明显。

.我们的方法的有效性，我们提出了Sketch2Di-

8为了解决草图到图表研究中标准化资源的缺乏，我

0agram基准测试，这是一个全面的数据集和评们引入了Sketch2Diagram基准测试，这是一个全面的数

5价框架，涵盖八种多样化的图表类别，如流程

2图、有向图和模型架构等。该数据集包含超过据集和评估框架，旨在支持该任务模型的发展与评估。数