如何微调甜甜圈模型——使用示例.docxVIP

文档仅供参考 PAGE 1 Python 中的 Donut 模型可用于从给定图像中提取文本。这在各种场景中都很有用，例如扫描收据。 您可以轻松地。但与人工智能模型一样，您应该根据您的特定需求微调模型。 我编写本教程是因为我没有找到任何资源来准确展示如何使用我的数据集微调 Donut 模型。因此，我必须从其他教程（我将在本指南中分享）中学习这一点，并自己解决问题。 我们将介绍以下内容： 如何找到用于微调的数据集 使用 Google Colab 进行微调 如何更改参数 本地微调 如何找到要微调的数据集 网上找一个数据集 为了微调模型，我们需要一个用于微调的数据集。如果您想要一个简单的解决方案，您可以在 Google Drive 上的此文件夹中找到准备好的数据集。 然后，您应该将此数据集复制到您自己的 Google 云端硬盘。 如果您想根据自己的特定需求微调模型，您要么需要在线查找合适的数据集，要么自己创建数据集。 注释您自己的数据集 注释您自己的数据集是创建完全适合您需求的数据集的可靠方法。 网上有很多标注工具，但我推荐的一款免费工具是Sparrow UI 数据标注工具。您可以在此处上传图像、在图像上放置边界框并标记每个边界框。然后，您可以提取 JSON 格式的标记数据，并按照本教程的其余部分使用它。 使用 Google Colab 进行微调 为了使微调过程尽可能简单，我提供了一个Google Colab 文件，您可以在此处使用。（一些代码取自此 GitHub 页面）。 请注意，软件包版本必须与驱动器中提供的完全相同，因为错误的软件包版本是我自己微调 Donut 模型时遇到的许多问题的根源。 在使用 Google Colab 文件进行微调之前，您需要做 2 件事： 将数据上传到您的 Google 云端硬盘。 将我之前提供的数据集上传到您的 Google Drive 名为preparedFinetuneData 的父文件夹下（请参阅下图中的文件结构）。 确保在 Google 云端硬盘的根文件夹中添加父文件夹。另外，下载此配置文件并将其添加到 Google 云端硬盘的根文件夹中。 ?编辑?? 您的数据集在 Google 云端硬盘根文件夹中的外观应如何 将您的 Google 云端硬盘链接到 Google Colab。 当您运行安装 Google Drive 的单元时，您可能会收到提示，在这种情况下您可以接受它并忽略本段的其余部分。 如果没有收到提示，请按文件图标（下图中的红色）和安装驱动器图标（下图中的蓝色）。然后您将获得一个可以运行的代码片段，现在您的 Google 云端硬盘已连接。 请注意，如果您之前没有将 Google Colab 连接到 Google Drive，则必须在按 Drive 图标后登录 Google Drive，并授予 Colab 访问 Drive 的权限（当您尝试链接 Drive 时，会自动出现此提示） ） ?编辑?? 文件图标（红色）。安装 Google Drive（蓝色） 最后，重新启动运行时。在 Google Colab 上更改文件后，您始终必须重新启动运行时才能查看最新更新。 如何更改参数 伟大的！现在您可以在笔记本中运行单元，并且您应该收到一个经过微调的模型。请记住，您还可以更改配置参数，例如，训练更长时间、使用更多工作人员等等。 ?编辑?? 您可以更改的配置参数示例。 请注意，我正在使用在CORD 数据集上微调的 Donut 模型，因为我希望能够读取收据。您还可以在此处找到其他 Donut 模型，其他选项包括文档解析、文档分类或文档视觉问答 (DocVQA)。 本地微调 微调也可以在本地运行，如果您有 GPU，这对您来说最重要，因为 CPU 训练将需要很长时间。 要在本地运行，您必须： 首先，克隆这个 GitHub 存储库 将准备好的微调数据集添加到根文件夹中。 如果要保存微调后的模型，请将下面的行添加到 train.py 第 164 行，位于trainer.fit(...)的正下方 #... trainer.save_checkpoint(f{Path(config.result_path)}/{config.exp_name}/{config.exp_version}/model_checkpoint.ckpt) #... 4. 然后，您需要在 PyTorch Lightning Trainer 中注释掉 GPU 进程，并添加以下行：accelerator=”cpu”： #train.py file #... trainer = pl.Trainer( #Comment out the lines above # num_nodes=config.get(nu