混合语种对说话人验证的影响：基于阿姆哈拉语、英语和普通话的研究.pdfVIP

独创性声明

本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的

研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表

或撰写过的研究成果，也不包含为获得天津大学或其他教育机构的学位或证书

而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作

了明确的说明井表示了谢意。

…者签名卅签叫yV\tþ-年7月〉千日

学位论文版权使用授权书

本学位论文作者完全了解天津大学有关保留、使用学位论文的规定.特授

权天津大学可以将学位论文的全部或部分内容编入有关数据库进行检索，并采

用影印、缩印或扫描等复制孚段保存、汇编以供查阅和借阅。同意学校向国家有

关部门或机构送交论文的复印件和磁盘。

(保密的学位论文在解密后适用本授权说明)

学…名扯

略名:机科

签字日期:Vρb年7月?午日

日期:γq阶年7月叽+日

摘要

通过语音识别说话人身份，说话人验证已逐渐成为一种重要的生物特征认证方

法。在多语言环境中，语言差异是导致说话人识别性能下降的原因之一。近年来，

说话人验证取得了重大进展。然而，语言不匹配条件下验证的稳健性仍然是需要克

服的关键瓶颈。本硕士论文基于自然语言特点，对语言组合训练方法进行深入研究

，以提高多语言下说话人验证的性能。

本研究探讨了面对低资源语言，在语言不匹配条件导致的说话人验证性能变差

时，提高性能的方法。本文中，我们提出了一种语言组合训练方法：解决低资源语

言（如阿姆哈拉语）的不匹配问题和大量数据需求。为了促进说话人验证中的跨语

言研究，我们设计并收集了我们自己的语料库，称为Yegna2021。Yegna2021是

一个由阿姆哈拉语和英语组成的双语语音语料库。这项研究还结合了来自

LibriSpeechASR语料库和AISHELL-I普通话语料库的语音数据声音。据我们所

知，这是对阿姆哈拉语说话人验证系统的首次研究。

语言组合对说话人验证的不同影响已在阿姆哈拉语、英语和汉语普通话中进行

了研究。首先，我们仅使用Yegna2021语料库调查了训练和测试数据之间的语言

不匹配对最先进的说话人验证系统性能的影响。实验结果表明，语言变异性会降低

识别性能（从5.8%到22.3%）。所提出的减轻语言不匹配的方法指出了先进说话

人验证系统中重要的识别模式。当训练和测试集中的其他因素保持不变只有目标语

言发生变化时，i-vector、x-vector和ECAPA-TDNN三种模型的识别性能分别下

降了8.1%、17.1%和10.7%。

根据上述结果，我们还对阿姆哈拉语和普通话的组合进行了测试，发现在说话

人验证性能方面该组合下优于英语和普通话，这表明说话人验证模型提取说话人特

征的同时，而明显受到混合训练数据中的语言特征的影响。为了弄清这一差异的原

因，我们研究了阿姆哈拉语、英语和普通话之间的语音异同，并根据它们的句段特

征和音节结构对这三种语言的语音系统进行了比较分析。

本论文特别关注组合训练中基于语音的说话人验证性能变化推理。我们的工作

提出了语言特定的因素，例如普通话鼻尾、重音节类型/CVN/，以及阿姆哈拉语

(AMH)和英语(ENG)重音节类型(AMH=/CVC/,ENG=/CVC/)和超重音节类型

(AMH=/CVCC/,ENG=/CCCVCC/)，作为说话人验证性能差异的可能原因。为此，使

用基于音节的提出了一种新方法来补偿语言不匹配问题。实验结果表明，

/CVC+CVC/音节组合比/CVCC+CCCVCC/音节包含更多的说话人特定信息。结果还确定

了阿姆哈拉语和英语组合训练中有益和有害的音节。在此基础上，我们通过减少有

害音节并允许在训练集和测试集中填充更多有益音节的语音数据来改进现有说话人

验证模型。通过从高资源中选择丰富的说话人相关信息的音节并将其与低资源语言

混合进行训练，可以将这些知识应用于具有其他低资源语言的说话人验证任务，从

而可以有效地使用音节组合。

关键词：阿姆哈拉语，说话人验证，低资源语言，Yegna2021语料库,混合语种