基于深度学习的问答场景语音情感识别系统研究与实现.pdfVIP

摘要

人们在交流中充满着丰富的情感，基于问答场景的语音情感识别系统研究具有重要

意义。然而，问答场景中包含两个交替发言的说话人，单一的语音情感识别方法无法准

确识别每个说话人的情感状态。因此，为实现问答场景下的语音情感识别系统，本文基

于深度学习，首先研究了说话人分割聚类方法，实现完整问答对话音频中两个说话人的

语音信号分离。然后研究了语音情感识别方法，实现对分离后的独立说话人进行情感状

态识别。最后结合两种方法设计了问答对话语音情感识别应用系统，具体研究内容如下：

（1）基于改进ECAPA-TDNN模型的说话人分割聚类方法研究。为了在问答对话

语音中识别并分离出两个说话人的语音信号，本文基于声纹识别技术进行说话人分割聚

类方法研究。首先，利用语音活动检测技术进行端点检测，将完整问答对话音频分割成

若干语音片段。然后，选择ECAPA-TDNN网络作为基线模型，并引入Conformer编码

器模块对模型进行改进。通过结合卷积网络和多头自注意力机制，关联时间上下文信息，

对语音序列中的局部特征和全局特征统一建模，提取语音片段中能表示说话人身份的声

纹特征。同时利用大边距微调策略和自适应得分归一化算法，纠正训练和测试条件之间

的差异造成模型性能下降问题。最后，根据提取到的声纹特征，使用K-Means算法对语

音片段进行聚类操作，实现从完整问答对话音频中分离出两个独立说话人的语音信号。

（2）基于改进RepVGG模型的语音情感识别方法研究。分离问答音频中两个说话

人的语音信号后，为自动识别每个独立说话人的情感状态，本文基于频谱特征进行语音

情感识别方法研究。首先，选择RepVGG网络作为语音情感识别的基线模型，并通过引

入卷积注意力模块对基线模型进行改进，帮助模型提升对情感关键信息的感知和利用能

力。然后，研究了一种多谱图特征融合方法，将语谱图、Mel谱图、归一化Gammachirp

谱图中提取到的情感特征进行融合，实现情感相关信息的互补，提升模型性能的上限。

最后，研究了一种频带划分方法，根据语音信号在不同频率范围内能量分布的特点，将

谱图特征分解成低、中、高三个频带范围，使情感特征的细节表达更加突出。实验结果

表明，所研究的方法能够有效的提升语音情感识别模型的准确率。

（3）问答对话语音情感识别系统设计。结合研究的说话人分割聚类方法和语音情

感识别方法，设计并实现了基于问答场景下的语音情感识别系统。该系统包含了针对两

人问答音频的说话人分离、说话人情感识别分析以及在线实时识别等功能，在人机交互

领域中有较好的应用价值。

关键词：语音情感识别；说话人分割聚类；ECAPA-TDNN；注意力机制；特征融合

Abstract

Peoplearefullofrichemotionsincommunication,andtheresearchonspeechemotion

recognitionsystembasedonquestion-answeringscenariosisofgreatsignificance.However,

thequestion-answeringscenariocontainstwospeakerswhospeakalternately,andasingle

speechemotionrecognitionmethodcannotaccuratelyrecognizetheemotionalstateofeach

speaker.Therefore,inordertoachieveaspeechemotionrecognitionsysteminthequestion-

answeringscenario,thisthesisbasedondeeplearningandfirststudiesspeakerdiarization

methodstoachievetheseparationofspeechsignalsfromtwospeakersinacompletequestion-

answeringdialogueaudio.Then,