Maestro-EVC：由参考 和显式韵律指导的可控情感语音转换.pdfVIP

Maestro-EVC：由参考

和显式韵律

指导的可控情感语音转换

1121,2†

JinsungYoon,WooyeolJeong,JioGim,Young-JooSuh,

1GraduateSchoolofArtificialIntelligence2Dept.ofComputerScienceandEngineering

PohangUniversityofScienceandTechnology(POSTECH),Pohang,RepublicofKorea

{truestar2001,jungwy0106,jio.gim,yjsuh}@postech.ac.kr

本摘要—情感语音转换（EVC）旨在修改语音的情感风格，同ContentReference

SynthesizedAudio

译时保留其语言内容。在实际的EVC中，可控性是至关重要的，“Ichosetherightway.”

即使用不同的参考独立控制说话人身份和情感风格的能力。然SpeakerA

中(Sad)Maestro

而，现有的方法往往难以完全分离这些属性，并且缺乏建模细微

EVC

1SpeakerReference

v情感表达如时间动态的能力。我们提出了Maestro-EVC，一“Ichosetherightway!”

“Ithinkitllencourageme.”

0个可控制的EVC框架，通过有效分离每个属性来自不同的参考SpeakerB

9来实现内容、说话人身份和情感的独立控制。我们进一步引入了SpeakerB(Surprise)

8(Happy)

6时间情感表示和显式的韵律建模与韵律增强，以稳健地捕捉并转Emo�onReferenceTemporalDynamics