说话者验证中的文本适应使用说话者-文本因子分解嵌入.pdfVIP

说话者验证中的文本适应使用说话者-文本因子分解嵌入

YexinYang,ShuaiWang,XunGong,YanminQian,KaiYu

MoEKeyLabofArtificialIntelligence

SpeechLab,DepartmentofComputerScienceandEngineering

ShanghaiJiaoTongUniversity,Shanghai,China

{yangyexin,feixiang121976,gongxun,yanminqian,kai.yu}@

ABSTRACT关的说话人嵌入以适应特定输入。我们提出了一种说话人-文本

分解网络，它包含四个部分：一个通用特征学习器、用于提取

预收集数据（无论是训练数据还是注册数据）与实际测试数据与文本无关的“spk”嵌入的说话人子网、用于提取“text”嵌

之间的文本不匹配会严重影响基于文本的说话人验证（SV）系入的文本子网以及一个基于“text”嵌入提供的信息来学习文

统的性能。虽然这个问题可以通过仔细收集目标语音内容的数本适应表示的“组合”子网。

据来解决，但这样的数据收集可能会非常昂贵且缺乏灵活性。不同的文本不匹配类型评估集来源于RSR2015[12]数据

本在本文中，我们提出了一种新颖的文本适应框架来解决文本不集，对于传统的基于文本的任务，其中文本不匹配仅存在于训

匹配问题。这里提出了一个说话人文本分解网络，将输入语音练和评估数据之间，“文本”嵌入是从与“spk”嵌入相同的语

译分解为说话人嵌入和文本嵌入，并在后期阶段将其整合为单一音中计算得出的。当注册和测试数据之间的文本不匹配也出现

表示形式。给定少量与说话人无关的适应话语，可以提取目标时，我们从任意说话人（不同于评估集）处收集了少量语音来

中语音内容的文本嵌入，并用于将与文本无关的说话人嵌入适应计算文本嵌入并适应注册说话人的嵌入。实验结果表明两种情

1为定制化的说话人嵌入。在RSR2015上的实验表明，文本适应况下性能均有显著提升。此外，从无文本适配的说话人子网中

v显著提高了文本不匹配条件下的性能。提取的“spk”嵌入在标准Voxceleb评估集中也优于原始x向

5IndexTerms—说话人验证，文本依赖性，文本不匹配，量基线。

2适应性

42.相关工作

4

01.介绍2.1.x-向量

.

8说话人验证旨在根据其语音验证客户所声称的身份。考虑x-向量[1,13]是一种基于时间延迟神经网络（TDNN）的

0到对语音内容的限制，说话人验证可以分为两类：基于文本的和说话人嵌入学习框架。该模型包含几个帧级的时间延迟层，随

5非基于文本的。前者任务要求注册和测试话语具有相同的语音后是一个统计池化层，它将帧级表示聚合为单个段级表示。可

2内容，而后者则没有这样的要求，为用户提供了更大的灵活性。以在池化层后的段级层中加入一个或多个嵌入层以提取说话人

:

v对于与文本无关的说话人验证任务，说话人嵌入提取器通嵌入。

i常是在大量不受限制的语音数据上进行训练的，文本信息被隐

x式规范化，这是有益的，因为最终的说话人嵌入应该去除音素2.2.段级音素标签定义

r

a变异性。尽管在与文本无关的任务[1,2,3,4,5]上表现良好，

但直接将同一模型应用于与文本相关的任务存在问题，因为在