音段级和次音段级发音错误检测与诊断技术研究.pdfVIP

摘摘摘要要要

发音错误检测与诊断任务是一项特殊的自动语音识别任务，能够极大地帮

助英语学习者进行口语学习。该任务面向第二语言学习者，说话人受母语影响

具有显著的口音问题，口音的可变性和复杂特征使语音识别效果受到很大影响。

大规模口音数据处理代价高昂难以实现，使声学模型的标准建模方式表现不佳。

针对上述问题，论文构建了两种发音错误检测与诊断模型，具体研究内容如下:

论文首先对音段级发音错误检测与诊断技术进行了研究，该技术利用音

层面的错误信息向说话人提供纠音反馈。为克服口音干扰问题，论文构建了一个

基于两阶段域对抗训练的发音错误检测与诊断模型，通过两阶段口音域适应将

模型从源域迁移至目标口音域特征空间，并利用域判别器和梯度反转层解耦音

频高维特征中的口音域信息，提升模型在目标口音域的泛化性。

仅在音段级进行纠音反馈要求学习者了解如何纠正发音动作，这对初学者

来说具有很大挑战。因此，论文同时对次音段级发音错误检测与诊断技术进行

了研究，该技术利用发音属性特征提供纠音反馈，能够弥补音段级反馈的不足。

为使模型从少量数据中获得足够的特征信息，论文构建了一个共享浅层参数的

多任务学习模型，利用音识别辅助任务和口音分类辅助任务的相关特征对发

音属性识别任务进行训练，并使用关系建模网络对任务之间的依赖关系进行建

模优化，以提升辅助任务对主任务的增益效果。

论文在L2arctic数据集上进行了多项对比实验，实验结果表明，相较于其他

现有方法，论文提出的方法在音识别、发音属性识别以及检测和诊断错误发音

等方面均取得了更为优异的结果。

关键词：发音错误检测与诊断，注意力机制，两阶段域对抗训练，多任务学习

I

II

ABSTRACT

Themispronunciationdetectionanddiagnosistaskisaspecialautomaticspeech

recognitiontaskthatcangreatlyassistEnglishlearnersinorallanguagelearning.This

taskisaimedatsecondlanguagelearnerswhohavesignificantaccentproblemsin-

fluencedbytheirnativelanguage.Thevariabilityandcomplexcharacteristicsofthe

accentgreatlyaectthespeechrecognitioneect.Large-scaleaccentdataprocessing

iscostlyanddiculttoimplement,makingthestandardmodelingmethodofacous-

ticmodelspoorlyperformed.Aimingattheaboveproblems,thepaperconstructstwo

modelsformispronunciationdetectionanddiagnosis.Thespecificresearchcontents

areasfollows:

Thepaperfirststudiessegmentallevelmispronunciationdetectionanddiagnosis

technology,whichusesphonemelevelerrorinformationtoprovidecorrectionfeedback

forspeaker.Inordertoovercometheproblemofaccentinterference,thepapercon-

structsatwo-stagedomainadversarialtrainingbasedmispronunciationdetectionand

diagnosismodel,w