融合动态卷积和注意力机制的多层感知机语音情感识别.pdfVIP

计算机科学与探索1673-9418/2025/19(04)-1065-11

JournalofFrontiersofComputerScienceandTechnologydoi:10.3778/j.issn.1673-9418.2406008

融合动态卷积和注意力机制的多层感知机语音情感识别

123+3

张雨萌，张欣，高谋，赵虎林

1.对外经济贸易大学外国语学院，北京100105

2.中国人民解放军总医院研究生院统计学与流行病学教研室，北京100853

3.中国人民解放军总医院第一医学中心神经外科医学部，北京100853

+通信作者E-mail:gaomou218@126.com

摘要：语音情感识别技术通过分析语音信号推断说话者情绪，增强人机交互的自然性和智能性。然而，现有模型

往往忽视时频语义信息，影响识别准确性。为此，提出了一种融合动态卷积与注意力机制的多层感知机模型，显著

提高了情感识别的准确度及信息利用效率。将输入的语音信号转化为梅尔频谱图，捕捉信号细节变化，更贴切地反

映人类对声音的感知，为后续特征提取奠定了基础。通过词元化处理将梅尔频谱图转化为词元，降低了数据的复杂

性。借助动态卷积与分离注意力机制高效提取关键的时频特征。一方面，动态卷积能够适应不同时间和频率上的

尺度变化，优化了特征捕捉效率；另一方面，分离注意力机制增强了模型对关键信息的聚焦能力，有效提升了模型对

特征的表达能力。结合动态卷积与分离注意力机制的优势，该模型能够更加充分地提取关键声学特征，从而实现了

更高效、更精准的情感识别。在RAVDESS、EmoDB和CASIA三个语音情感数据库上的测试显示，模型识别准确率

显著优于现有技术，达到86.11%、95.33%和82.92%。这验证了模型在复杂情感识别任务的高效性和准确性，以及动

态卷积和注意力机制的有效性。

关键词：语音情感识别；梅尔频谱图；多层感知机；动态卷积；注意力机制

文献标志码：A中图分类号：TP391.4

IncorporatingDynamicConvolutionandAttentionMechanisminMultilayerPer-

ceptronforSpeechEmotionRecognition

123+3

ZHANGYumeng,ZHANGXin,GAOMou,ZHAOHulin

1.SchoolofForeignStudies,UniversityofInternationalBusinessandEconomics,Beijing100105,China

2.StatisticsandEpidemiologyTeachingandResearchSection,GraduateSchooloftheChinesePLAGeneralHospital,

Beijing100853,China

3.DepartmentofNeurosurgeryofFirstMedicalCenter,ChinesePLAGeneralHospital,Beijing100853,China

Abstract:Speechemotionrecognitiontechnologyinfersthespeaker’semotionsbyanalyzingthevocalsignals,enhancing

thenaturalnessandintelligenceofhuman-computerinteraction.However,existingmodelsoftenoverlookthesemantic

informationoftimeandfrequency,affectingtherecognitionaccuracy.Toaddressthisproblem,amulti-layerperceptron

modelthatint