面向多源文本的越南语文本检错方法.pdfVIP

第51卷第5期/2025年5月/计算机工程研究论文

面向多源文本的越南语文本检错方法

庄紫薇12,朱俊国1.2*

（1.昆明理工大学信息工程与自动化学院，云南昆明650500；

2.昆明理工大学云南省人工智能重点实验室，云南昆明650500)

摘要：文本检错是自然语言处理的研究方向之一，目标是自动检测输人文本中错误单词的位置和类型，该任务

不仅在文本处理的各种下游环节中应用广泛，而且关系到日常生活中方方面面。目前，针对英文、中文的文本检

错模型已经能够达到较高的准确率，然而，因越南语语料资源稀缺、人工标注数据不足，面向越南语的文本检错任

务深受训练样本匮乏和低质量的困扰。此外，还存在不同场景来源的文本包含错误类型不同，以及错误类型数量

不均衡的情况，导致通用文本检错模型无法学习到特定错误类型的检测方法，检错能力较弱。基于上述问题，首

先，提出一种面向多源文本的越南语文本检错语料库构建方法，利用越南语光学字符识别（OCR)、越南语语音识

别和越南语-英语翻译数据集构建初始语料库，并根据多源越南语检错语料生成方法得到错误语料，通过检错语

料自动标注算法获得带标签的训练数据。其次，提出融人多源信息特征的越南语文本检错序列标注模型，在多语

言来自变换器的双向编码器表征量(BERT)编码端融人场景特征，使模型能够根据当前输人文本场景适应错误类

型。实验结果表明，该方法相比基线模型,F0.5值和F1值提升了1.91和1.80百分点，并进一步验证了模型各组

件的必要性以及数据集构建方法的有效性。

关键词：自然语言处理；机器学习；深度学习；文本检错；越南语

中图分类号：TP391文献标志码：AD0I:10.19678/j.issn.1000-3428.0069492

VietnameseTextErrorDetectionMethodforMulti-sourceText

ZHUANGZiweil,ZHUJunguo*

(1.FacultyofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,Yunnan,China;

2.YunnanKeyLaboratoryofArtificialIntelligence,KunmingUniversityofScienceandTechnology,Kunming650500,Yunnan,China)

[Abstract)Texterrordetectionisatopicofsignificantresearchinterestwithinnaturallanguageprocessing,

focusingonautomaticallyidentifyingthelocationandtypeoferroneouswordsininputtext.Thistaskhasbroad

applicationsacrossvariousdownstreamaspectsoftextprocessinganddirectlyimpactsdailylife.Whilemodelsfor

texterrordetectioninEnglishandChinesehaveachievedhighaccuracy,modelsforVietnamesefacechallengesdue

toascarcityofcorpusresourcesandmanuallylabeleddata.Thelowqualityoftrainingsampleshampersthe

performanceoferrordetectionmodelsforVi