改进的构音障碍语音转文字转换通过 TTS 个性化.pdfVIP

改进的构音障碍语音转文字转换

通过TTS个性化

PéterMihajlik,ÉvaSzékely,PiroskaBarta,MátéSomaKádár,GergelyDobsinszki,LászlóTóth

DepartmentofTelecommunicationsandArtificialIntelligence,BudapestUniversityofTechnology,Hungary

DivisionofSpeech,MusicandHearing,KTHRoyalInstituteofTechnology,Sweden

HungarianResearchCentreforLinguistics,HUN-REN,Hungary

SpeechTexLtd.,Hungary

InstituteofInformatics,UniversityofSzeged,Hungary

摘要—我们展示了一个针对患有严重构音障碍的匈牙利语模式。因此，调整自动语音识别（ASR）系统以转录构

本使用者开发定制语音转文字系统的案例研究。最先进的自动语音障碍言语是一个有前景的方法，正如众多先前研究所

译音识别（ASR）模型在处理零样本构音障碍语音转录时遇到困证明的那样[2]。然而，构音障碍ASR的挑战不仅仅局

难，导致高错误率。为了改善使用有限的真实构音障碍数据的表

中限于失常的言语信号：数据收集尤其困难不仅因为受影

现，我们利用个性化文本到语音（TTS）系统生成的合成语音对

1ASR模型进行微调。我们提出了一种通过利用给定演讲者的病响说话者的言语产生可能会缓慢且费力，而且由于人工

v

1前录音和说话人嵌入插值来生成可控严重程度的合成构音障碍转录（及其验证）需要特殊技能和受构音障碍影响的人

9语音的方法，从而能够在一个连续的损伤范围内对ASR模型进们的积极参与。因此，可用于研究的构音障碍言语数据

3

6行微调。在真实和合成的构音障碍语音上进行微调将字符错误率非常有限，其中很多都包含孤立的单词或短语[3]。

0（CER）从零样本情况下的36-51%降低到7.3%。我们的单语

.数据稀缺构成了重大挑战，尤其是在为构音障碍语

8言FastConformer_HuASR模型在相同数据集上微调后显

0著优于Whisper-turbo，且加入合成语音贡献了18%的相对音开发通用的语音转文本系统时，特别是在那些使用

5

2CER减少。这些结果突显了个性化ASR系统在改善严重言语者相对较少的语言中。此外，构音障碍表现为多种形

:障碍个体可访问性方面的潜力。式[2]，使得设计一个能够容纳所有变异的单一ASR系

v

iIndexTerms—自动语音识别，构音障碍语音，文本到语统的做法在实际上不可行。对于辅助技术而言，个性化

x

r音合成，少样本学习单个用户的ASR是一种实用方法，因为该系统仅针对

a

I.介绍他们的语音模式进行设计[4]。

某些医疗状况可能会对个体的长期言语产生显著在这项研究中，我们展示了开发辅助匈牙利语语音

影响。例如，中风相关的脑损伤可能导致构音障碍，这转文字系统的结果，该系统适用于患有构音障碍的人，

使得理解其言语变得具有挑战性。医学上，构音障碍是并仅使用几分钟的构音障碍语音来调整ASR系统。为

一个概括术语，用于描述任何导致异常言语控制的神了减轻在大量端到端神经声学模型上的过度拟合问题，

经运动障碍。它可能会影响言语信号的