基于细粒度的语音情感识别和情感合成算法研究.pdfVIP

摘要

语音是日常交流中最直接与简便的方式之一。语音中所存在的情感使得信息的表

达更为丰富多彩。而在人机交互过程中，能够精准地识别语音的情感，并根据对话中

对方的情感生成符合场景的情感语音，可以提升人机交互的体验感。

情感在一句话中是时域多粒度的，通过局部信息变化来突出。现有的语音情感识

别算法有的通过局部窗口注意力机制来进行情感捕获，但由于其窗口设置的固定性，

导致了其算法在对多粒度情感的捕获能力不足，限制了算法的情感识别能力。而在情

感合成领域，合成的情感语音需要根据其语义变化不同字的情感强度，以生成更有表

现力，更有韵律，更贴合文本语义的情感语义。根据上述问题，本文主要进行了以下

的研究工作：

（1）设计了动态窗口注意力机制算法DWFormer，用于语音情感识别。本文设计

了一种基于Transformer架构的动态窗口注意力机制，其由动态局部窗口注意力机制模

块和动态全局窗口注意力机制组成。动态局部窗口注意力机制根据输入语音序列中各

个语音令牌的情感强度进行动态分窗，并在每个窗口内部进行局部情感信息捕获；动

态全局窗口注意力机制根据分窗结果，对各个窗口特征序列进行全局关系建模。动态

窗口注意力机制的存在帮助算法更好地捕获多粒度和细粒度的情感信息，从而提升了

情感识别的准确性。经过消融实验，可视化实验以及与现有算法对比中，本文所提出

的DWFormer算法均取得了更优的表现。

（2）设计了DW-VITS算法，其包含细粒度的跨模态风格学习模块，辅助情感语

音合成。本文利用DWFormer模块对细粒度情感的捕获能力，对输入文本语义特征和

对应风格语音进行细粒度风格信息捕获，并提出了多尺度的CLAP对比学习算法进行

跨模态风格对齐学习预训练，将文本风格和语音风格进行对齐。所提出的细粒度风格

模块在声学模型训练过程中被应用到了情感语音合成算法之中。经过消融实验，可视

化实验以及同现有算法的对比证明，本文提出的细粒度跨模态学习模块的有效性，对

提升语音合成的表现力起到了有效的作用。

关键词：情感计算；语音情感合成；语音情感识别；注意力机制

I

Abstract

Speechisoneofthemostdirectandconvenientmethodsofdailycommunication.Theemotions

enrichtheexpressionofinformation.Intheprocessofhuman-computerinteraction,theability

toaccuratelyrecognizetheemotionsinspeechandgenerateemotionallyspeechbasedonthe

emotionsoftheotherpartyintheconversationcanenhancetheexperienceofhuman-computer

interaction.

Emotioninasentenceistemporallymulti-granular,highlightedbychangesinlocalinformation.

Someexistingspeechemotionrecognitionalgorithmsusethelocalwindowattention

mechanismsforemotionalinformationcapturing,butthefixedsizeofthewindowsettings

leadstoinsufficientcapabilityincapturingmulti-granularemotioninformation,whichlimits

themodel’sability.Inthefieldofemotionsynthesis,thesynthesizedemotionals