DAFMSVC: 基于双注意力机制和流匹配的一次性歌唱语音转换.pdfVIP

DAFMSVC:基于双注意力机制和流匹配的一次性歌唱语音转换

WeiChen,BinzhuSha,DanLuo,JingYang,ZhuoWang,FanFan,ZhiyongWu

ShenzhenInternationalGraduateSchool,TsinghuaUniversity,China

HuaweiTechnologiesCo.,Ltd.,China

chenw23@,zywu@

Abstract后对提取的信息进行编码，之后解码以重构歌声音

频。各种深度生成模型，如自回归模型[8,9]、生成

歌声转换（SVC）将源歌手的音色转移到目标上，

对抗网络（GANs）[10]、变分自编码器（VAEs）[11]

同时保持旋律和歌词不变。任何对任何SVC的关

和扩散模型[12]被用于解码。尽管说话人验证技术

键挑战在于在不降低质量的情况下适应未见过说

取得了显著进展，但仅依靠提取的说话人嵌入向

话者的音色到源音频中。现有方法要么面临音色

量来包含所有必要的语音信息仍然值得怀疑[13]。

泄漏问题，要么无法生成令人满意的音色相似度

本此外，有效分离说话人的特征与内容又是一个挑

和高质量音频。为了解决这些挑战，我们提出了

译战，这常常导致音色泄漏[14]，即源说话人的一些

DAFMSVC，在其中用目标音频中最相似的自监

中音色仍保留在转换后的音频中。这个问题在使用

督学习（SSL）特征替换了来自源音频的SSL特征

1SSL语音模型提取内容特征时尤为突出[15]。

v以防止音色泄漏。它还结合了一种双交叉注意力

8机制来适应性融合说话者嵌入、旋律和语言内容。为了解决音色泄漏问题，NeuCoSVC[16]使

7用基于SSL的语音模型从目标说话人的参考音频

9此外，我们引入了一个流匹配模块来从融合特征

5中提取SSL特征并构建匹配池。然后用匹配池中

0生成高质量音频。实验结果表明，DAFMSVC显

.最相似的特征替换源音频中的SSL特征以实现音

8著提升了音色相似度和自然度，在主观和客观评

0估中均优于现有最先进的方法。色转换。由于转换阶段使用的SSL特征直接来自

5目标音频，NeuCoSVC避免了音色泄漏问题。然

2IndexTerms:歌声转换，交叉注意力，流匹配

:而，在替换最相似的自监督特征时，忽略了某些音

v

i色信息。这是