双模态跨语料库语音情感识别.pdfVIP

第24卷

第1期应用技术学报Vol.

24

No.

1

2024年

3月JOURNALOFTECHNOLOGYMar.

2024

文章编号：2096-3424（2024）01-0077-08DOI：10.3969/j.issn.2096-3424.2024.01.008

刘云翔，教授，研究生导师。上海应用技术大学计算机科学与信息工程学院党

委书记、学科带头人。主要从事大数据与人工智能、信息融合、自动驾驶V2X

等领域的研究工作。主持和参与国家自然科学基金、上海市科委重大项目、联

盟计划项目、上海市教委项目、吉林省科技厅自然科学基金、武器装备预研项

目和企事业单位委托开发项目20多项。发表学术论文100余篇（其中72篇被

SCI/EI检索），发明专利57项（授权9项），多次在国际会议上做学术报告。近

3年主要为本科生讲授“计算机导论”“程序设计基础”“新技术讲座”“大数据处

理技术”等课程。长期承担本科教学工作，近3年发表教改论文8篇，主编出版

专著《计算机导论》《信息技术基础与应用》《V2X与无人驾驶技术及应用》等10余本，获上海市级教学

成果奖2项、校级教学成果奖4项，主持上海市重点教改项目2项。

双模态跨语料库语音情感识别

刘云翔，

张可欣

（上海应用技术大学

计算机科学与信息工程学院,

上海

201418）

摘要：语音情感识别（SER）在双模态的跨数据库语音情感识别研究较少，跨数据库情感识别过度

减少数据集之间差异的同时，会忽视情感判别能力的特征的问题。YouTube数据集为源数据，互动情

感二元动作捕捉数据库（IEMOCAP）为目标数据。在源数据和目标数据中，Opensmile工具箱用来

提取语音特征，将提取的语音特征输入到CNN和双向长短期记忆网络（BLSTM），来提取更高层次

的特征，文本模态为语音信号的翻译稿。首先双向编码器表示转换器（Bert）把文本信息向量化，

BLSTM提取文本特征，然后设计模态不变损失来形成2种模态的公共表示空间。为了解决跨语料库

的SER问题，通过联合优化线性判别分析（LDA）、最大平均差异（MMD）、图嵌入（GE）和标签

回归（LSR），学习源数据和目标数据的公共子空间。为了保留情绪辨别特征，情感判别损失与

MMD+GE+LDA+LSR相结合。SVM分类器作为迁移公共子空间的最终情感分类，IEMOCAP上的

实验结果表明，此方法优于其他先进的跨语料库和双模态SER.

关键词：跨语料库；情感识别；双模态语音情感识别；迁移子空间学习；循环神经网络

中图分类号：TN912.34;TP18文献标志码：A

Bimodalcross-corpusspeechemotionrecognition

LIU

Yunxiang，

ZHANG

Kexin

（School

of

Computer

Science

and

Information

Engineering,

Shanghai

Institute

of

Technology,

Sh