柯南：一种分块在线网络用于零样本自适应语音转换-计算机科学-语音转换-实时语音处理-流式推理.pdfVIP

柯南：一种分块在线网络用于零样本自适应

语音转换

YuZhang,BaotongTian,ZhiyaoDuan

DepartmentofElectricalandComputerEngineering,UniversityofRochester,Rochester,NY,USA

yzh421@,baotong.tian@,zhiyao.duan@

摘要—零样本在线语音转换（VC）在实时通信和娱乐方性[7]，在VC中将这些非域内音色和风格适应到任意

面具有重要意义。然而，当前的VC模型难以在实时限制下保源内容仍然是一个具有挑战性的开放问题。

持语义保真度、提供自然听起来的转换，并有效适应未见过说

目前，零样本在线VC面临三个主要挑战：

话人的特征。为了解决这些问题，我们引入了Conan，这是一

本种分块式在线零样本语音转换模型，在保留源内容的同时匹配通过分块流式传输提取内容通常会损害质量。现有

参考语音的声音音色和风格。Conan包括三个核心组件：1)的VC方法通常采用预训练的特征提取模型来推导

译一个流内容提取器，利用Emformer进行低延迟的流内容编语言表示，常常利用自监督模型如HuBERT[8]或

中码；2)一个自适应样式编码器，从参考语音中提取细粒度的WavLM[9]。然而，这些预训练编码器的大感受野

1样式特征以增强样式适应性；3)一个因果混洗声码器，通过像

使它们不适合用于具有极小或零前瞻的在线场景。

v素混洗机制实现完全因果HiFiGAN。实验评估表明，Conan

4在主观和客观指标上都优于基线模型。音频样本可在https:尝试通过蒸馏训练轻量级因果内容编码器可能在

3

5//aaronz345.github.io/ConanDemo找到。效率和准确性上不足[3]。另一种方法依赖于基于

4IndexTerms—语音转换，实时语音处理，零样本学习，流自动语音识别[10]的音素提取，这会带来额外的

1

7.式推理延迟。

0实现零样本场景中的自适应风格转换仍然具有挑

5I.介绍

2战性。当前模型通常依赖于一个强烈的假设，即参

:

v零样本在线语音转换（VC）旨在从源语音中提取考语音对于模型调整是可访问的[11]，这一假设在

i

x语言内容，并实时修改其音色和风格以匹配参考语音的实践中并不总是成立。此外，许多声码转换方法仅

r

a[1]。该领域在实时通信和互动娱乐应用方面显示出巨大专注于通过直接应用源语音的F0和能量来传输音

的潜力。[2]现有的VC方法通常使用预训练模型从源色，这与捕捉参考说话人的风格[3]的目标相矛盾。

语音中提取内容信息，并将其与参考语音中的说话人身少数尝试推广到未见过的说话人的零样本声码转换

份嵌入结合，执行分块在线转换[3]。方法仍然难以平衡高相似度和自然性之间的关系。

VC领域已经取得了显著的进步[4]。特别是，旨在这种不足源于对说话人风格建模不足，从而无法有

将参考语音中的非域内说话人身份转移到生成语音的效地将说话人风格与源内容对齐[6]。

零样本VC在近年来得到了探索[5]。此外，能够在线保持高质量和自然性