通过布局保留内容替换生成合成发票.pdfVIP

通过布局保留内容替换生成合成发票

BEVINV,ANANTHAKRISHNANPV,RAGESHKR,SANJAYM,VINEETHS,BIBINWILSON

BEOAI

摘要.机器学习模型在自动发票处理方面的性能关键取决于大规模、多样化的数据集。然

而，获取此类数据集通常受到隐私法规和手动标注高成本的限制。为了解决这一问题，我们

提出了一种生成高保真合成发票文档及其相应结构化数据的新颖流水线。我们的方法首先

利用光学字符识别（OCR）从源发票中提取文本内容和精确的空间布局。然后用大型语言

本模型（LLM）生成上下文真实的合成内容替换选定的数据字段。最后，我们采用一种图像

译修复技术擦除原始文本并渲染新的合成文本到其位置，保持确切的布局和字体特征不变。

这一过程产生了一对输出：一张视觉上逼真的新发票图像以及一个完美对齐的结构化数据

中文件（JSON），反映合成内容。我们的方法提供了一个可扩展且自动化的解决方案，能够

1放大小型私有数据集，从而创建大型多样化的语料库，用于训练更强大和准确的文档智能

v模型。

4

5

71.介绍

3

0金融工作流程的数字化转型使发票的自动化处理成为现代商业运营的基础。

.

8机器学习（ML），特别是深度学习模型，在从这些文档中准确提取结构化数据方面

0显示出巨大的潜力，从而减少了人工劳动、降低了错误率并加快了支付周期。

5

2然而，这些复杂模型的性能从根本上受到大规模、多样化且精心标注的训练数据可

:

v用性的限制。获取这样的数据集充满了挑战。现实世界的发票包含敏感的财务和个人信

i

x息，使其受制于诸如GDPR之类的严格隐私法规。此外，收集、扫描和标记数千张发票

r

a的手动过程成本高昂且耗时。

为克服数据稀缺的瓶颈，我们提出了一种生成高保真合成发票文档及其相应结构化

数据的新流水线。我们的方法结合了光学字符识别（OCR）用于保持布局、大型语言模型

（LLMs）用于上下文数据生成以及计算机视觉技术用于无缝图像组合的优势。该系统首

先将源发票分解为其文本和空间组件，然后智能地替换关键信息为现实的合成内容，并

最终重新渲染一个视觉上一致的新发票。

本工作的关键贡献是：

(1)一个完整的端到端生成配对图像-JSON发票数据的管道。

(2)利用大语言模型生成上下文相关且匿名的数据以保持文档合理性的方法。

(3)一种稳健的文本渲染技术，保留原始文档的布局和字体比例。

Thecodeforthisprojectisavailableat:/BevinV/Synthetic_Invoice_

Generation.

1

2INITIALSURNAME

本文将首先回顾合成数据生成的相关工作，然后详细描述我们的方法论，展示我们生成

过程的结果，并最后讨论这项研究的影响和未来方向。

2.相关工作

文档智能模型训练数据的创建已经发生了显著演变。我们将先前的工作分为三个主

要领域：经典