基于遮蔽多头注意力的CTC-Conformer中文语音识别模型.pdfVIP

第15卷第2期智能计算机与应用2025年2月

Vol.15No.2IntelligentComputerandApplicationsFeb.2025

黄天圆，王超．基于遮蔽多头注意力的CTC-Conformer中文语音识别模型[J]

DOI:10.20169/j.issn.2095-2163.250225

基于遮蔽多头注意力的CTC-Conformer中文语音识别模型

黄天圆，王超

（河北工程大学信息与电气工程学院，河北邯郸056038）

摘要：Conformer模型是语言处理任务中广泛应用的模型之一,其结合了Transformer模型和卷积神经网络的特点，既能捕

捉到局部和全局的序列特征又能更好地理解输人数据的结构和上下文信息。然而,现有Conformer模型中的音频和文本之间

对齐关系存在不确定性，同时模型采用的多头注意力还会将未来时间步输人信息泄漏到当前时间步。采用连接时序分类

（ConnectionistTemporalClassification，CTC）机制进行辅助训练，不仅可以提高基于Macaron-Net结构的Conformer模型鲁棒

性，还可以解决音频和文本不对齐问题。在解码器部分,应用遮蔽多头自注意力机制以确保在t时刻模型无法查看未来时间

步的输入信息,从而保证模型仅利用已生成的标记进行预测。实验结果表明,基于遮蔽多头注意力的CTC-Conformer模型相

对于Conformer模型的字错率与损失率均有所下降,损失值最低达到了3.24。

关键词：Conformer；CTC；遮蔽多头注意力；语言处理

中图分类号：TP391.1文献标志码：A文章编号：2095-2163(2025)02-0162-06

CombiningCTCwithtransformermodelforimplementing

Chinesespeechrecognition

HUANGTianyuan,WANGChao

(SchoolofInformationandElectricalEngineering,HebeiUniversityofEngineering,Handan056038,Hebei,China)

Abstract:Conformerisoneofthemostwidelyusedmodelsforlanguageprocessingtasks.ItcombinesthefeaturesofTransformer

andconvolutionalneuralnetwork,itcannotonlycapturelocalandglobalsequencefeatures,butalsobetterunderstandthestructure

andcontextinformationofinputdata.Ontheonehand,inthecurrentConformermodel,itisuncertaininthealignmentbetween

audioandtext.Ontheotherhand,themulti-attentionwillleaktheinputinformationofthefuturetimesteptothecurrenttimestep.

Tosolvetheaboveproblems,theconnectionisttemporalclassification(CTC)isusedtoimprovetherobustnessoftheConformer

modelbasedonMacaron-Netstructure,andresolvetheissueofa