捷克语 GEC 的细化-多实验方法的见解-计算机科学-神经网络-大语言模型.pdf

ThispaperwasacceptedtoTSD2025.Pleaseciteitinsteadoncepublished.

捷克语GEC的细化：多实验方法的见解

PetrPechman,MilanStraka,

JanaStraková,andJakubNáplava

Seznam.cz,Prague,CzechRepublic

{petr.pechman,jakub.naplava}@firma.seznam.cz

CharlesUniversity,FacultyofMathematicsandPhysics,InstituteofFormaland

AppliedLinguistics,Prague,CzechRepublic

{straka,strakova}@ufal.mff.cuni.cz

本摘要我们提出了一种语法错误纠正（GEC）系统，该系统在捷克语中达到

译了最先进的水平。我们的系统基于具有Transformer架构的神经网络翻译

中方法，其关键特性是其实时合成生成管道，该管道通过引入语言无关和特

定于捷克语的错误来动态增强句子的人工错误。我们进行了一系列全面的

1

v实验，调查了作为人工错误引入基础的捷克语GEC语料库、几种错误生

2成策略、领域平衡、分词粒度、模型大小以及微调期间的数据扩展。此外，

0

4我们在终端用户和专家微调场景中评估了大型语言模型（LLMs）在捷克语

2GEC上的性能。我们表现最佳的模型在性能和计算效率方面均优于其他模

2.型。源代码和训练好的模型链接可在/ufal/tsd2025-gec

6获取。

0

5

2Keywords:语法错误纠正·GEC·捷克语·捷克语GEC

:

v

i

x1介绍

r

a

语法错误纠正（GEC）是一项旨在纠正自然文本中错误的任务。这些错

误可以从简单的拼写错误和打字错误到更复杂的问题，如不正确的动词时

态、主谓一致错误、标点符号错误以及句法不一致性。

在这项工作中，我们发布了一个基于Transformer的神经机器翻译捷克

语语法错误纠正系统，该系统是在合成数据和手动标注数据的混合体上训练

而成。我们的系统的特色是一个实时的合成数据增强管道，能够生成既适用

于所有语言也特定于捷克语的错误作为学习用的合成数据。

我们进行了一系列广泛的实验，并呈现了从结果中得出的见解。我们的

实验重点是预训练和微调的语料库选择、领域平衡、分词粒度、模型规模以

及微调数据中的数据扩展。

2P.Pechmanetal.

此外，我们在以下场景中评估了大型语言模型（LLMs）以及可用的捷

克语语法错误校正工具在捷克语GEC任务上的表现：我们展示了使用现成

GEC工具的实际用户用例的定